一天晚上，香玉神情淒慘地走進黃生房裡，說：「你連『隴』都不能守住了，還指望得到『蜀』嗎？今天我就要和你長期分別了。」黃生問她：「你要到哪裡去？」香玉用衣袖擦著眼淚，說：「這也是命中注定的，很難對你說明白。你以前的那首詩，今天成了應驗的預言。『佳人已屬沙吒利，義士今無古押衙』的詩句，可以說是為我詠唱的。」黃生問她到底是怎麼回事，香玉不說話，只是不斷地抽泣。她整個晚上都沒有入睡，凌晨時分就走了。黃生感到十分納悶。
第二天，即墨縣有個姓藍的來到下清宮遊覽，他看見那株白牡丹，很喜歡，就把它連根挖出來帶走了。黃生這才領悟到香玉原來是花妖，他不禁無限惆悵，惋惜不已。過了幾天，黃生聽說姓藍的把那株白牡丹移植到家裡，白牡丹就一天天地枯萎死去了。黃生悲憤極了，作了五十首哭花詩，天天到原來種植白牡丹的樹坑前痛哭。
一天，黃生悼念完香玉，正往回走，遠遠看見身穿紅衣服的絳雪也來到穴旁哭祭。黃生慢慢地走近去，絳雪也不躲避。黃生就拉著絳雪的衣袖，兩人相對流淚。哭祭完了，黃生挽著絳雪的手，請她到自己的書齋裡去，絳雪也跟著他走。進了屋，絳雪歎息著說：「小時候的姐妹，想不到竟一朝永別！聽你哭得那麼哀傷，更增加了我的悲痛。眼淚流入九泉之下，也許她能夠被我們真誠的懷念所感動而再生。但是死者的神氣已經消散，短時間內怎麼能和我們兩人一起談笑呢。」黃生說：「我是個薄命的人，害了情人，當然也沒有福氣消受兩個美人。以前我多次托香玉向你轉達我的心意，為什麼你不來呢？」絳雪說：「我以為年輕的書生，十個之中有九個是無情無義的，沒想到你原來是個最鍾情的人。但是我和你交往，在於友情，不在淫慾。要是白天黑夜地親熱，那我是做不到的。」說完，絳雪就要告別。黃生說：「香玉長期離開了我，叫我吃不下飯，睡不好覺。想請你稍微留一會兒，來安慰我的思念的情懷，你怎麼這樣斷然拒絕呢？」絳雪聽了，就留了下來，過了一夜才離去。
一連幾天，絳雪沒有再來。這一天，冷雨紛飛，寒窗幽暗，黃生更是苦苦地思念香玉，他在床上輾轉反側，淚水把枕席都沾濕了。他爬起來穿上衣服，挑亮油燈，按照上次那首詩的韻腳，又寫了一首詩：「山院黃昏雨，垂簾坐小窗。相思人不見，中夜淚雙雙。」作完了詩，他就自己吟誦起來。忽然聽到窗外有人說：「作詩不能沒有和詩的。」黃生側耳一聽，原來是絳雪。他連忙把門打開，請絳雪進來。絳雪看了黃生的詩，就在後面續了一首：「連袂人何處？孤燈照晚窗。空山人一個，對影自成雙。」黃生讀了絳雪的詩，不禁流下了眼淚，他抱怨絳雪和他相見得太少了。
絳雪說：「我不能像香玉那樣和你親熱，只能稍微排解一下你的寂寞罷了。」黃生想要和絳雪親暱一番。絳雪說：「相見的歡樂，何必要在這方面呢？」從此，每當黃生最為寂寞無聊的時候，絳雪就來一趟。來了就和黃生一邊飲酒，一邊作詩酬唱，有時不睡覺就走了，黃生也聽之任之。黃生說：「香玉是我心愛的妻子，絳雪是我最好的朋友。」他常常問絳雪：「你是院子裡的第幾株花呢？請你早點告訴我，我要把你移植到家裡，免得像香玉那樣被惡人奪去，讓人遺恨百年。」絳雪說：「故土難離呀，就是告訴你也沒有什麼好處。你妻子尚且不能終生跟從你，何況是朋友呢？」黃生不聽，拉住她的胳膊走出去，每走到一株牡丹下面，就問：「這是不是你呢？」絳雪不說話，只是捂著嘴笑。
很快到了臘月底，黃生回家過年去了。到了二月間，黃生忽然夢見絳雪來了，淒楚地對他說：「我有大難！你趕快去下清宮，咱們還能見一面；晚了就來不及了。」黃生醒來以後感到很奇怪，他火速叫僕人備馬，星夜趕到嶗山。原來是道士要建房子，有一棵耐冬樹，妨礙施工，工匠正要用斧頭把它砍掉。黃生馬上制止他們。到了夜裡，絳雪來向黃生道謝。黃生笑著說：「你以前不如實告訴我你的身份，活該遭到這次厄運！現在我已經知道那個是你了；如果你不來，我就要用艾火烤你。」絳雪說：「我本來就知道你會這樣做的，所以過去不敢告訴你。」坐了一會兒，黃生說：「今天面對著好朋友，更加想念我那美麗的妻子。我很久沒有哭香玉了，你能陪我一起去哭哭嗎？」絳雪答應了。兩人就一起來到牡丹花的坑穴前痛哭流淚。直到一更多，絳雪才收住淚，把黃生勸住了。
又過了幾個晚上，黃生正獨自孤寂地坐著，絳雪滿面笑容地走進來，對黃生說：「告訴你一個好消息：花神被你的真情感動，讓香玉重新回到下清宮裡。」黃生問：「香玉什麼時候來？」絳雪說：「不知道，大概不會太久吧。」天亮以後，絳雪下床要走了，黃生囑咐她說：「我這次專是為你而來的，你不要長時間讓我孤獨寂寞。絳雪笑著答應了。可是過了兩個晚上絳雪也不來。黃生就去抱著耐冬樹，又是搖撼又是撫摩，頻頻呼喚絳雪，可是沒有一點聲響。黃生便回到屋裡，對著燈搓艾草，準備去熏烤耐冬樹。
絳雪突然走了進來，一把奪過艾草，把它丟到地上，說：「你胡鬧什麼，要是把我燒出傷疤，我就和你斷絕來往了！」黃生笑著把絳雪抱在懷裡。還沒有坐穩，香玉就輕盈地走了進來。黃生望見香玉，眼淚奪眶而出，他急忙起來握住香玉的手。香玉用另一隻手握住絳雪，三個人你看我，我看你地痛哭起來。等坐下以後，黃生覺得握著香玉的那隻手好像沒有握什麼東西一樣，就吃驚地問她這是怎麼回事。香玉傷心地流著眼淚說：「以前，我是花神，所以形體是凝聚的；現在，我是花鬼，所以形體是飄散的。今天我們雖然相聚了，可是你不要把這一切當成真的，只能當作是夢境吧。」絳雪說：「妹妹回來可太好了！我被你家男人糾纏死了。」說完就告辭走了。
香玉還像過去一樣有說有笑：但是兩人相依相偎的時候，黃生感到整個身體彷彿是靠在影子上。黃生鬱鬱寡歡，香玉一時之間也很惱恨自己。她便對黃生說：「你用白蘞的碎末，摻上一點兒硫磺，每天給我澆上一杯水，明年的今天就可以報答你的恩情了。」於是她就告別走了。第二天，黃生到以前的花坑去看，只見牡丹已經發芽了。他於是每天都精心培植，又做了一圈護欄來保護它。香玉來了以後，分外感激黃生。黃生打算把牡丹移植到家裡，香玉不同意，她說：「我體質很弱，不能再折騰了。
而且任何東西的生長都各有一定的地方，我這次來原本就沒有打算生在你家裡，違反了原意反而會折壽。只要我們相互憐愛，自然有歡聚的一天。」黃生埋怨絳雪不來見面。香玉說：「你如果一定想要她來的話，我能夠做得到。」於是和黃生一起拿著燈來到耐冬樹下，拿一根草，用手掌比量著作為尺度，用它來量樹幹，從下往上，量到四尺六寸，用手按住那個地方，叫黃生用兩隻手一齊去搔這個地方。一會兒，只見絳雪從背後走了出來，她一邊笑，一邊罵道：「你這丫頭助紂為虐嗎！」於是三人相互拉著手，一起走進屋裡。香玉說：「姐姐請不要見怪！暫時勞煩你替我陪伴郎君，一年以後就不再打攪你了。」從此絳雪經常來看黃生，彼此都習以為常。
黃生看到牡丹花芽，一天比一天長得茁壯茂盛，到春天結束的時候，已經長到二尺多高了。黃生回家的時候，留下一些錢給道士，請他代為培養。到了第二年四月，黃生又回到下清宮，只見已經長出一朵牡丹花蕾，含苞未放；黃生正在牡丹花前留連的時候，那花蕾搖晃著像要綻開；一會兒，牡丹花開放了，花朵如同盤子那麼大，好像有個小美人坐在花蕊上，只有三四指高；轉眼間小美人就飄然而下，黃生一看，正是香玉。香玉笑著對黃生說：「我強忍著風吹雨打等待你，你怎麼姍姍來遲呢！」於是一起走進屋裡。這時，絳雪也來了，她笑著說：「我天天代替他人做妻子，今天總算有幸退身成為朋友了。」於是三個人高高興興地在一起喝酒談笑。到了半夜，絳雪便走了。黃生和香玉於是上床睡覺，和以前一樣歡愛融洽。後來，黃生的妻子去世了，黃生就索性搬到嶗山，不再回家了。這時，牡丹已經長得像手臂那麼粗。黃生常常指著牡丹說：「我死了以後就把魂留在這裡，一定長在你的旁邊。」香玉和絳雪微笑著說：「你不要忘記這句話。」
十多年以後，黃生忽然病了。他的兒子聞訊趕來，對著黃生，十分悲傷。黃生笑著對兒子說：「這是我生的日子，不是死的日子到了，你悲傷什麼呢！」又對道士說：「日後在牡丹花下有一株紅色的幼芽茁壯地生長，它一次就長出五片葉子的，那就是我。」於是黃生不再說話。他兒子用車子把他運回去，剛到家裡，黃生就死了。
第二年，在牡丹花下果然長出了一個粗壯的紅芽，葉子正好是黃生所說的五片。道士覺得很奇異，就更加精心地澆灌它。三年後，它就長到好幾尺高，樹幹有兩隻手合攏那麼粗，只是不開花。老道士死了以後，他的徒弟不知道愛惜它，將它砍去。接著，白牡丹也枯萎而死；不久，耐冬樹也死了。
異史氏說：「感情最真摯的人，鬼神也可以相通。香玉成了花鬼也跟從黃生；而黃生的精魂也寄於香玉身邊，這不是他們的愛情太深了嗎？一花被人砍去，兩花枯死殉情，即使不是堅守貞操，也是為愛情而死的。一個人不能保持貞潔，也是她的愛情不夠深的緣故。孔子讀《唐棣》時說：『還是沒有想念他呀。要是真的想念，有什麼遙遠的呢？』這話確實不錯！」