數月後，柳生落榜歸來。他在黃色大道上猶豫不決地行走。雖一心嚮往與小姐重逢，可落榜之恥無法迴避。他走走停停，時快時慢。赴京之時尚是春意喧鬧，如今歸來卻已是蕭蕭秋色。極目遠眺，天淡雲閒，一時茫茫。眼看著那城漸近，柳生越發百感交集。近旁有一條河流，柳生便走到水旁，見水中映出的人並非錦衣繡緞，只是布衣寒褸。心想赴京之時是這般模樣，歸來仍舊是這般模樣。季節尚能更換，他卻無力錦衣榮歸，又如何有臉與小姐相會。
柳生心裡思量著重新上路，不覺來到了城門口。一片喧嘩聲從城門蜂擁而出，城中繁榮的景象立刻清晰在目。
柳生行至喧鬧的街市，不由止步不前，雖然離去數月，可街市的面貌依然如故，全不受季節更換影響。柳生置身其間，再度回想數月前與小姐繡樓相逢之事，似乎是虛幻中的一樁風流逸事。然而小姐臨別之言卻千真萬確，小姐的聲音點滴響起：
"不管榜上有無功名，還請早去早回。"
柳生此刻心裡波浪迭起，不能繼續猶豫，便急步朝前走去。小姐佇立窗口遠眺的情景，在柳生急步走去時栩栩如生。
因為過久的期待而變得幽怨的目光，在柳生的想像裡含滿淚水。重逢的情形是黯然無語，也可能是鮮艷的。他將再次攀繩而上則必定無疑。
然而柳生行至那富貴的深宅大院前，展示給他的卻是斷井頹垣，一片廢墟。小姐的繡樓已不復存在，小姐又如何能夠佇立窗前？面對一片荒涼，柳生一陣頭暈目眩。眼前的一切始料不及，似乎是瞬間來到。回想數月前首次在這裡所見的榮華富貴，歷歷在目似乎就在剛才。再看廢墟之上卻是朽木爛石，雜草叢生，一片淒涼景象。往日威武的石獅也不知去向。
柳生在往日的正門處呆立半晌，才沿著那一片廢墟走去。
行不多遠他止住腳步，心說此處便是偏門。偏門處自然也是荒涼一片。柳生繼續行走，來到了往日的後花園處，一截頹垣孤苦伶仃站立著，有半扇門斜靠在那裡。這後門倒還依稀可見。柳生踏上廢墟，深淺不一地行走過去，細細分辨何處是九曲石橋，何處是荷花滿蓋的池塘，何處是涼亭和朱欄，何處是翠竹百十竿，何處是桃杏爭妍。往日的一切皆煙消雲散，倒是兩棵大楓樹猶存，可樹幹也已是傷痕纍纍。那當初尚是柘黃的楓葉，入了秋季，又幾經霜打，如今紅紅一片，如同塗滿血一般，十分耀眼。幾片落葉紛紛揚揚掉落下來，這楓樹雖在盛時，可也已經顯露出落魄的光景來了。
最後，柳生才來到往日的繡樓前。見幾堆殘瓦，幾根朽木，中間一些雜草和野花。往昔繁榮的桃杏現在何方？唯有幾朵白色的野花在殘瓦間隙裡苟且生長。柳生抬頭仰視，一片空曠。可是昔日攀繩而上進入繡樓的情景，在這一片空曠時隱約顯露出來。顯然是重溫，可也十分真切，彷彿身臨其境。然而柳生的重溫並未持續到最後，而在道出那句"今日一別，難再相逢"處驀然終止。繡樓轉瞬消去，那一片空曠依舊出現。柳生醒悟過來，仔細回味這話，沒料到居然說中了。
此刻暮色開始降臨，柳生依舊站立片刻，然後才轉身離去。他離去時仍然走來時的路，如數月前一般走出後門。此後在廢墟一旁行走，最後一次回顧昔日的繁榮。
待柳生來到街市上，已是掌燈時候。兩旁酒樓茶亭懸滿燈籠，耀如白日。街上依舊人流不息，走路人並不帶燈籠。柳生向兩旁賣酒的，賣茶的，賣面的，賣餛鈍的一一打聽小姐的去向，然而無人知曉。正在惆悵時，一小廝指點著告知柳生：
"這人一定知曉。"
柳生隨即望去，見酒店櫃檯外一人席地而坐，蓬頭污面衣衫襤褸。小廝告知柳生，此人即是那深宅大院的管家。柳生趕緊過去，那管家兩眼睜著，卻是無精打采，見柳生過去，便伸出一隻滿是污垢的手，向柳生乞討。柳生從包袱裡摸出幾文放入他的手掌。管家接住立即精神起來，站起把錢拍在櫃檯上，要了一碗水酒，一飲而盡。隨即又軟綿綿坐落下去斜靠在櫃檯上。柳生向他打聽小姐的去處，他聽後雙眼一閉，喃喃說道：
"昔日的榮華富貴呵。"
翻來覆去只此一句。柳生再問過一次，管家睜開眼來，一雙污手又伸將過來。柳生又給了幾文，他照舊換了水酒喝下。
而回答柳生的仍然是：
"昔日的榮華富貴呵。"
柳生歎息一聲，知道也問不出什麼，便轉身離去，他在街市裡行走了數十步，然後不知不覺地拐入一條僻巷。巷中一處懸著燈籠，燈籠下正賣著茶水。柳生見了，才發覺自己又饑又渴，就走將過去，在一條長凳上落坐，要了一碗茶水，慢慢飲起來。身旁的鍋裡正煮著水，茶桌上插著幾株時鮮的花朵。柳生辨認出是菊花、海棠、蘭花三種。柳生不由想起數月前步入那後花園的情形，那時桃、杏、梨三花怒放，而菊、蘭和海堂尚未盛開。誰想到如今卻在這裡開放了。