太陽已升起，可喜不見問罪的人來，他漸漸安了心。而回想女郎的聲音容貌，恐懼轉變為想念。這樣度過了三天，常大用憔悴得要死。點著燈到半夜，僕人已經熟睡。那老婦人進來，拿個碗遞給常大用，說：「我家葛巾娘子親手調製了毒藥，快喝！」常大用聽了害怕，然後說：「我和小娘子，一向無怨無仇，為什麼要逼我死？不過既然是娘子親手調製，與其相思而病，不如服毒而死！」便仰起脖子喝光了。老婦笑著接過碗走了。常大用覺得藥氣芬芳清涼，好像不是毒藥。一會兒覺得肺腑舒暢，頭腦清爽，熟睡過去。醒來後，紅日滿窗。他試著起來，病已好了。他心中更相信這位葛巾娘子是神仙。由於無緣相見，只能在沒人時，回憶著她曾經站過、坐過的地方，虔誠地跪拜，默默地祝禱。
一天，常大用向花圃走去，忽然在茂密的樹叢中，迎面遇見葛巾娘子，幸好沒有別人，他十分高興，拜倒在地。葛巾娘子走近拉他，他忽然聞到她全身散發著奇特的香味，便用手握著她白玉似的手腕站起來，她的手指肌膚柔軟細膩，使人的骨節都酥軟了。正要說話，老婦人忽然來了。葛巾娘子叫常大用躲到石頭後面，向南一指，說：「晚上用梯子越過牆頭，四面紅窗的，就是我的住所。」說完，她就匆匆忙忙地走了。常大用心中惆悵，魂魄飛散，沒能弄清她往哪裡去了。到晚上，他搬了梯子登上南面牆頭，而那邊牆下已有一把梯子，他高興地下去，果見有紅色的窗戶。屋裡傳出棋子敲擊的聲音，他站定在那裡不敢再往前走，只得暫時翻牆回去。一會兒，再過來，下棋的聲音仍很密；漸漸走近窺看，見葛巾娘子與一個白衣美人相對下棋，老婦人也在座，一個丫鬟在侍候。常大用又退回來。一共來回三趟，已經到了三更時分。常大用趴在這一邊的梯子上，聽見那一邊老婦出來說：「這梯子，誰放這兒的？」喊來丫鬟一起把梯子搬走。常大用登上牆頭，想下那邊去，沒有擱腳處，又惱又悶地回來了。
第二天夜裡，他再去，梯子已先擺好。幸好靜悄悄的沒人，走進屋子，葛巾娘子呆坐著，若有所思。她看見常大用，驚慌地站起來，側身而立，面帶羞澀。常大用作揖道：「我自認為福分淺薄，怕和您這樣美麗的仙女沒有緣分，不想也有今夜啊！」於是親熱地擁抱她。她的纖纖細腰，只有一把那麼粗，呼出的氣息芳香如蘭。她掙扎著說：「怎麼一下就這樣！」常大用說：「好事多磨，遲了會遭鬼神嫉妒。」一言未了，遠遠聽見人語聲。葛巾娘子急忙說：「玉版妹子來了，你暫且躲到床下吧。」常大用照辦了。
不多久，有個女子進來，笑道：「手下敗將，還敢再對陣嗎？我已煮了茶，來邀你去玩個通宵。」葛巾推說自己身體疲倦。玉版再三邀請，葛巾硬坐著不走。玉版說：「這麼眷戀，難道藏有男子在房間裡嗎？」硬拉著她，出門去了。常大用匍匐著從床底下爬出來，懊惱極了，便翻遍枕席，希望找一件葛巾留下的東西。但室內並沒有梳妝盒，只是床頭有一柄水晶如意，上面繫著紫色巾子，芳香潔淨，十分可愛。常大用把它揣在懷裡，翻牆回來。他整理自己的衣襟衣袖，葛巾身上的香氣還留在上面，於是對她的傾慕更熱切了。但因有了鑽床底的受驚經歷，心裡有觸犯法網的恐懼，想來想去不敢再去，只是珍藏著如意，等待葛巾來尋找。
隔了一晚，葛巾果然來了，笑著說：「我原以為你是個君子，而不知你竟然是盜賊。」常大用說：「確實如此！之所以偶然不做君子，只是希望能夠如意。」於是把葛巾摟進懷裡，替她解開裙結。她如玉的肌膚裸露出來，溫熱的芳香四處流溢，偎抱之間，常大用覺得她的鼻息、汗氣，無不馨香。他於是說：「我原本就猜想你是仙人，現在才知道我猜對了。有幸承蒙你看得起，緣分一定在三世以前。只怕杜蘭香下嫁，最終造成離別之恨。」葛巾笑道：「你的顧慮也太多了。我不過是個離魂倩女，偶為愛情所動罷了。
此事要小心保密，只怕播弄是非的嘴巴會捏造黑白，那時你不會長翅膀，我也不會凌雲駕霧，那麼迫於禍殃的分離比善始善終的分別更為慘痛。」常大用同意，便始終疑心她是仙人，一再詢問她的姓氏。葛巾說：「既然說我是仙人，仙人又何必讓姓名流傳。」常大用問：「老婦人是什麼人？」葛巾說：「她是桑姥姥。我幼時受她庇護，所以跟一般僕人們不一樣。」她於是起身準備走，說：「我那裡耳目很多，不能久留，瞅空我會再來。」臨別索取如意，說：「這不是我的東西，是玉版留下的。」「玉版是誰？」「是我的妹妹。」常大用把藏起來的如意交給她，她就走了。她走後，被子枕頭都留下一股奇異的香氣。
從此葛巾隔兩三晚就來一趟。常大用熱戀著她，不再想回家。但錢袋已空，想把馬賣掉。葛巾知道了，說：「你為我的緣故，傾盡錢囊，典當衣服，我很不忍心。如果再賣了坐騎，離家一千多里，你將來怎樣回去？我私下有一點積蓄，可幫你支付用度。」常大用推辭說：「感激你的美意，拍著胸脯指著身軀發誓，都不足以報答你；現在卻又貪婪鄙下，花你的錢，教我怎麼做人呢！」葛巾再三勉強他，說：「暫且借給你吧。」便握著常大用的手臂，到一棵桑樹下，指著一塊石頭，說：「翻過來！」常大用照辦了。她又拔頭上的簪子，向土裡戳幾十下，又說：「扒開。」常大用又照辦了。埋甕口已露出來。葛巾伸手進去，拿出白銀近五十兩；常大用抓著她手臂阻止，她不聽，又拿出十來錠，常大用硬放回一半，然後掩埋好。
一天夜裡，葛巾對常大用說：「近日略有流言，決不能任其發展，這事不能不預先商量一下。」常大用驚慌地說：「怎麼辦！小生一向拘謹，現在因為你，像寡婦失了貞操，自己再沒主意了。全聽你的吩咐，即使刀斧在前也顧不得了！」葛巾商議一起逃走，叫常大用先回家，約定在洛陽會面。常大用整裝回鄉，打算先回家然後迎接葛巾；及至到家，葛巾的車子正好已到門口。他們走上大廳，僕人拜見，鄰居們驚訝地來道賀，而並不知道他們是偷著逃回來的。常大用提心吊膽；葛巾非常坦然，對他說：「先別說遠隔千里，根本偵察不到這個地方，即使知道了，我是世家閨秀，卓王孫也對司馬相如無可奈何。」
常大用的弟弟常大器，十七歲，葛巾看著他說：「弟弟有慧根，前程更勝過你。」常大器已定下日子結婚，未婚妻忽然夭折。葛巾說：「我妹妹玉版，你是曾見過的，相貌很不差，與弟弟年齡也相當，做夫妻可說是很好的一對。」常大用聽了就笑了，打趣地請她做媒。葛巾說：「一定要她來，那也不難。」常大用高興地說：「什麼辦法？」葛巾說：「妹妹和我最要好。只要用兩匹馬駕輛小車，請一個老婦人往來一趟就是了。」常大用擔心前一件事一齊敗露，不敢聽從她的策劃；葛巾再三說：「不礙事。」馬上吩咐備車，派桑姥姥去。幾天後車就到了曹州。快接近街口，桑姥姥下車，讓車伕停在路上等著，自己乘夜進街坊去。過了好久，她同個女子來了，上車就出發。晚上睡在車裡，五更繼續走。葛巾算著日子，讓常大器穿上盛裝去迎接。迎了五十多里，才遇上，常大器親自駕車回來；鼓樂奏起，花燭高照，拜了天地，成了婚禮。從此兄弟倆都得了美麗的媳婦，而家境又日益富裕。
一天，有強盜數十騎，闖進大院來。常大用知道出了事情，全家上了樓。強盜進來，圍住樓房。常大用俯身問道：「有怨仇嗎？」強盜答道：「沒有仇。只有兩件事相求：一是聽說兩位夫人是人世間找不到的美人，請讓我們見見；一是我們五十八人，各乞討銀子五百兩。」他們在樓下堆了柴，準備以放火相威脅。常大用答應他們索取金錢的請求；強盜不滿意，要放火燒樓，家人非常恐慌。葛巾想同玉版下樓，大用阻止也不聽。她們妝扮華麗地走下來，剩三級台階沒下到底，便對強盜說：「我們姐妹都是仙女，暫時來到人間，哪裡害怕盜賊！我倒想賜你們萬兩銀子，只怕你們不敢接受。」強盜們一齊向上膜拜，答道：「不敢」。姐妹倆準備退回樓上，一個強盜說：「此中有詐！」葛巾聽到，回身站住，說：「想幹什麼，便早動手，現在還不晚。」強盜們面面相覷，默默無一言。姐妹倆從容上樓去了。強盜抬起頭一直到看不見他們，才一哄而散。
兩年後，姐妹各生下一個兒子，才漸漸談起自己：「我姓魏，母親封為曹國夫人。」常大用疑心曹州沒有姓魏的世家，況且世家大族女兒失蹤，怎會丟下不問？他不敢追問，但心裡暗自奇怪。他便托故再到曹州，入境內訪查，並沒有姓魏的大戶人家。他於是仍在先前的房東家借住。忽見牆上有贈曹國夫人詩，很感驚異，便問房東。房東一聽就笑了，立即請他去看曹國夫人，到那兒一看，卻是一株牡丹，跟房簷一樣高。常大用問起名的緣由，房東說因此花為曹州第一，所以朋友們開玩笑封它的。常大用問是什麼品種，房東說：「葛巾紫。」常大用心裡越發驚駭，便懷疑葛巾是花妖。
回來後，常大用不敢直說，只是談起那首贈曹國夫人詩來觀察葛巾的反映。葛巾皺起眉頭，變了臉色，快步出去，叫玉版抱孩子來，對常大用說：「三年前，我為你的情思所感動，便以身相報；現在我受到猜疑，哪能繼續相聚！」於是與玉版都舉起孩子遠遠地拋擲，孩子掉在地上就不見了。常大用正吃驚地看著，兩個女郎也無影無蹤。他非常悔恨。幾天後，在孩子掉下的地方長出兩株牡丹，一夜長大，當年就開花，一株紫一株白，花朵大如盤，比一般的葛巾、玉版花瓣更為繁密細碎。幾年後，濃蔭茂密，長成樹叢；分株移種別處，又變出不同的品種，沒人能知道名稱。從此牡丹之盛，洛陽是天下無雙了。
異史氏說：「心懷專一，鬼神可通，那翩翩搖曳的也不能說是無情之物啊。白居易感到寂寞，還以花當作夫人，只要真能體會人的感情，又何必費力追究她的來歷呢？可惜常大用不夠曠達啊！」