胡蘭成帶了一些錢，一小袋換洗衣服就上路了。他逃到了浙江，化名張嘉儀，稱自己是張愛玲祖父張佩綸的後人。一路顛簸，胡蘭成到了紹興皋埠。待了兩個晚上，就又開始上路了。下一站是諸暨的斯家。9月30日，胡蘭成隻身來到了斯家。「一式粉牆黑瓦，獸環台門，惟窗是玻璃窗，房間軒暢光亮，有騎樓欄杆，石砌庭除，且是造得高大，像新做人家未完工似的……」抗戰的時候，斯家便從杭州市內遷到鄉下，這幢洋房是斯家老爺在杭州當軍械局長時發心建造的，前後花了二萬銀圓。斯宅在五指山下，居民大約有三百家。民國以來，斯家的人大多在外做官，在山場田地耕作方面也很勤勞，所以村中房舍整齊，沿大路一段店舖櫛比，像一個小市鎮。胡蘭成第一眼就看到橋頭祠堂的牆上，用漆寫著的四個鮮紅大字——「肅清漢奸」。這時，胡蘭成心裡一驚，擔心會有人認出他來。
歲月荏苒，似白駒過隙。十八年，滾滾紅塵夢彈指間。十八年前，那個背扛斯家給的棉被出門的少年，十八年後再一次邁入斯家的大門時候，已經年近不惑了，而那個當年睿智犀利、深諳人情世故的徐娘，現在也年近耄耋了。十八年，雖然在人世間只是短短的一瞬間，但是這其間的人世變故卻是滄海桑田。胡蘭成年輕時在斯家住了一年，對斯頌德的妹妹雅珊有非分之想（他當時已結婚），被斯家禮貌地請出。胡蘭成的同學斯頌德，就是斯家長子，死於疾病，三子當兵馬革裹屍而回，曾經胡蘭成蠢蠢欲動的雅珊也已經結婚了，但是之後喪夫、喪子，身邊還有一個小兒子，現在一所中學裡當老師。如今，斯家上上下下除了大太太袁培外，只剩下四子頌遠一家和姨奶奶范秀美等人，其他的子女都在重慶。不過，現在見得這些人都是他很想念的人。
十八年過去了，胡蘭成對大太太袁培的稱呼在不知不覺中起著變化，現在很尊敬地叫她「斯伯母」了。斯伯母還是跟以前一樣，打掃乾淨了一間房間，然後只說了一句：「胡先生，你就住在這兒。」而當她看見鄰居時卻只說是張先生。雖是此一時彼一時，然淳厚的斯家，依舊待他當客，對於他漢奸的身世甚至不說一句批評話。
「斯家真好比是一個民國世界，父親當年是響應辛亥起義，光復浙江的軍人，母親又明艷，出來的子女都錚錚。」但是，大兒子頌德和三兒子頌久年輕的時候就去世了，都和他父親一起埋葬在鄉下。這次來胡蘭成當然得去墳上祭拜一下，算是對死去的人的悼念吧。
離開斯家十八年，在此期間胡蘭成不僅跟頌德有過聯繫，而且還與頌德的四弟、五弟有過接觸。在抗戰的時候，他們倆個人還曾經來過上海，胡蘭成資助了他們好幾回。現在，斯家不計較他的身世而收留他，也是因為與斯家的交情和他對斯家子女的照顧。
胡蘭成住在斯伯母家中，斯伯母從來不盤問，也不寒暄問暖，更不跟胡蘭成攀談關於今後的事情，但是她心還是好的，總是在為胡蘭成想很多能解決實際問題的方法。現在，擺在胡蘭成面前的憂患，真實地擺在眼前。這一點斯伯母比誰都清楚。她只是感謝胡蘭成對頌德的好，而對於胡蘭成對老四老五的資助，斯伯母卻隻字不提，因為她明白那是他們一代人的事情，他們的面子交情和報恩也是他們兄弟的事情，所以她根本用不著去謝，以免不是自己份內的事自己做了，帶來不必要的麻煩。斯家待他還跟以前在杭州一樣，分賓主之禮，有內外之分。
住在斯家，並不是太平無事，只是天不遂人願。在斯家大院內，住著斯家已故老爺的小弟弟的孤兒寡母。這位寡母的兒子斯頌禹，二十七八了還沒有娶妻，整天游手好閒待在家裡，靠放高利貸為生，總是喜歡窺探張家長李家短的，對胡蘭成也不放過。胡蘭成來了才三天，斯頌禹就向頌遠左問右問的，把胡蘭成搞得緊張兮兮，很是不爽。胡蘭成怕露出身世，開始擔憂自身的安全了。這時，上海、杭州和紹興一帶到處都在抓漢奸，風聲很緊，胡蘭成打心裡恐懼，不敢在此久留。於是，頌遠就帶著他四處奔波，既為了躲避風頭，又想伺機尋找新的藏身之地。
起先，頌遠把胡蘭成帶到了離諸暨縣城四十里外的陳蔡中學，他曾經在那裡教過書，在那裡有許多熟人。胡蘭成在那裡待了三天，整天都和教員們廝混打牌來消磨時間。一到上課的時候，他就獨自一人到廟庵或祠堂那裡。自從胡蘭成來了之後，頌遠一直都沒有閒著，他一直在為胡蘭成想辦法。頌遠有一個關係要好的一個體育老師，為了讓他幫忙想辦法，他把胡蘭成的身世告訴了他。胡蘭成正處於這種境況中，根本不會相信任何人。雖然有點埋怨頌遠做事不謹慎，但是也無可挽回了，於是只住得三天，就和頌遠匆匆離開了。
接下來，他們來到了一個叫「琴弦岡」的山村，頌遠的姑母住在這裡。頌遠的姑母平常就很大大咧咧，好像就怕鄰里不知道她家來了客人，到處去宣傳。於是，第二天頌遠又把他將帶到鄰近的一個村莊，那裡有一戶鄉紳是頌遠的世交。胡蘭成想在那教書，可是現在不缺老師，於是又轉回斯家。
胡蘭成為了避人耳目，一直跟頌遠在村外，或徜徉，或徘徊，一直到晚上才悄悄溜進村裡，這時忽然發現村口有哨兵站崗巡邏。頓時，胡蘭成身上驚出了一身冷汗，深深的恐懼使他心裡打怵，但又不能退縮，退縮嫌疑更大。於是，只好硬著頭皮往家裡走，沒有想到的是國民黨來了一個團的兵力，正好借宿在斯家大院。這個團不是專門來查漢奸，而是「剿共」的，也只是路過而已，但這也把胡蘭成嚇得夠嗆，一晚上都沒睡。慶幸的是，這個團根本沒有留意他，天亮就撤了。胡蘭成這才長出一口氣，但心裡仍然膽顫心驚。於是頌遠不厭其煩的又帶他到了「許村」，想在那裡的小學謀份教書的職位，但是還是不行。無奈之下，只好又回到了斯家大院。
胡蘭成一想到這樣幾次三番地進出斯家，來回沒個完地折騰，很難安定下來，不免長吁短歎，黯然神傷。頌遠害怕他生悶氣，就想陪他到村口散心。一天，他倆去看玉蜀黍，一邊欣賞一邊隨意淺淺的閒聊，此時斯家小娘范秀美正倚鋤立在一株桐樹下，俯首視地，楚楚可憐。
斯家都叫范秀美為范先生，胡蘭成也這樣叫她。十八歲的時候范秀美就開始守寡，二十三歲學養蠶，之後在臨安蠶種場工作。抗戰的時候，范秀美回到了斯家，開始幹農活，順便幫蘭溪做生意。范秀美人緣很不錯，很多人都非常敬重她。她是個亮烈的人，從端正裡可以看出溫柔安詳，立著如花枝微微傾斜，自然有千姣百媚。胡蘭成看到眼前有玉人如斯，倒施施然有風月之閒情了。
胡蘭成這一番投奔斯家畢竟同以前不一樣。所以，要想有一個安身之所還得動一番腦筋。於是，范秀美總是在為胡蘭成想辦法，倒是有點像戲文裡常演的「窮秀才落魄鄉間，千金女傾囊相助」。眼見很多次頌遠帶著胡蘭成出去找一個容身之處，卻怎麼也沒有結果，她心裡很著急，於是想起了有一個姓謝的同事，她想讓兒子認她乾媽。於是，就跟胡蘭成倆個人到了同事的家中。范秀美跟同事說胡蘭成是她遠房表弟，想在這裡住一段時間，只是借住一下，其他費用，都由范秀美來負責。沒想到那同事卻找了一個托詞婉言拒絕了。范秀美有點不大高興，但是也沒有辦法，只好另想其他辦法了。看到這裡，胡蘭成非常感激范秀美為他做的這一切。
他倆要走，女同事慇勤挽留他倆多住幾天。第三天一大早，他倆搭了一條小船回去了。在船上的時候，害怕被船夫聽見起疑心，兩個人談話的時候都特別小心，從不談胡蘭成的身世。
後來，胡蘭成暫時住在楓樹頭雅珊的奶媽家中。那奶媽心裡清楚胡蘭成的身世，但也沒有為難他，還是願意讓他來家中小住。胡蘭成在奶媽家中是畢恭畢敬，旁人若是問起便說他是范秀美的遠房表弟。
楓樹頭是個美麗的小村莊，而且環境優美。村裡人一輩子耕田種地，收成看天吃飯，生活都很困難，奶媽家也一樣，並不富足。這時的奶媽已經五十歲了，是一個標準的賢妻良母，早年喪夫，獨自把子女帶大，直至他們成家獨立生活。在奶媽家，胡蘭成事事都很小心，事事都很仔細，從來不跟村裡人主動搭訕說話。平時他會幫奶媽挖紅薯，拔豆子。沒事的時候，胡蘭成一個人跑到澗水邊，在濕濕的沙灘上用樹枝一遍又一遍地寫著他和周訓德的名字。現在，他已經把張愛玲忘記的一乾二淨了，心裡只記得周訓德一個人。他對周訓德可算是愛意綿綿，一往情深啊。每次吃完晚飯的時候，奶媽總會講打仗的時候經過楓樹頭的日本兵。
有一次，大路上趕市的務農人，邊挑擔邊說著話，胡蘭成剛好經過，於是便聽到了務農人說的話。其中一個，差不多二十來歲的小伙子對他的同伴說，昨天鎮上唱戲，他在親戚家過夜，丈母娘給他一些荔枝，讓他晚上餓的時候點心吃。小伙子笑著稱讚那荔枝好吃，在他臨睡之前往嘴裡丟了好幾顆，吃得他心裡別提多美了。聽完務農人的對話，胡蘭竟然覺得他們很慘，說他們是那樣的貧窮，做人實在是有點虛度年華了。胡蘭成生怕生活貧窮和困苦，他自認為像務農人一樣貧窮的生活就是碌碌無為、虛度年華。「富貴不能淫，貧賤不能移，威武不能屈，此之謂大丈夫。」而他卻因貪圖世間的榮華富貴，而寧願去當一個漢奸走狗。胡蘭成寧願永世都背上令人不齒的罵名，寧願遭國人的唾棄，載之史筆，遺臭萬年，也不願意讓自己過著貧窮的生活，虛度年華。胡蘭成只知道時時刻刻評價他人，偏偏沒去回顧梳理自身。
在奶媽家住的這段日子裡，范秀美也看過胡蘭成，在眾人面前以姐弟相稱，其實雖然這是表面的，但是胡蘭成心裡還是美滋滋的。後來，身在武漢的周訓德受胡蘭成的牽連，以涉嫌漢奸罪被逮捕。消息傳到胡蘭成耳朵，痛苦難以自抑，他想去投案自首，以救出獄中的周訓德。此時張愛玲突然出現，自然是胡蘭成沒有料到的。
在奶媽家胡蘭成待了兩個多月，終於有一天按耐不住沉悶、清貧和無聊，所以想離開這裡。1945年12月1日，胡蘭成終於離開了楓樹頭，用斯伯母的名義，由頌遠和范秀美陪行，投奔金華傅太太去了。
在傅家，范秀美百倍呵護照顧胡蘭成，胡蘭成也是一刻都離不開她，像小孩一樣聽范秀美的話。范秀美經常帶著胡蘭成到村邊看牛車壓瀝甘蔗，到鄰里看大灶猛火煎煉紅糖，還陪他去田地裡轉悠。胡蘭成總覺得范秀美比他大，心裡已經把她當成姐姐了。甚至，連換洗衣服胡蘭成也聽她的，換完之後就直接給范秀美。范秀美去哪兒，他都像一個小孩一樣跟去哪兒。
後來，胡蘭成和范秀美又準備雇兩部黃包車去溫州。當時已經是初冬了，到處都是濃霜，冷風颼颼，不禁讓人直打寒顫，胡蘭成用毯子把自己包裹起來，但是還是無法抵禦刺骨的寒風。范秀美踩著爐，但是仍然凍得直哆嗦，胡蘭成時不時地看她，詢問冷不冷。這時，心裡對范秀美的感激之情更加濃厚。於是他想起了小時候在胡村的情景，胡村人家新娶的媳婦冬天早起都要呵手試曉妝，眼下看看身穿紫色綢旗袍的范秀美，覺得她好像就是自己的新媳婦。此時，那種美妙的情境充斥著他的大腦，那種亡命天涯、顛簸勞累一時間變成了絲絲浪漫情意，於是生發了感情。