燕京大學在北京的西郊，校門外面隔條楊柳溝，有一個大校場。當時，張學良就在那裡操練騎兵。胡蘭成去看過好幾次，有的時候天還沒亮他就被馬號聲驚醒，每到這種時候，他的心裡都會湧起一股悲壯淒涼的情緒。
那時北伐已經開始了，軍隊雖然剛到長沙，但是北京城已經蠢蠢欲動了。只是，胡蘭成當時只有22歲，那個時候他對於政治，對於國家大事幾乎不懂，實際上他一輩子也沒弄明白政治是怎麼一回事，否則就不會成為文化漢奸了！而他對於報紙上時事的評論也是一竅不通，只知道看報紙上的一些照片。對他而言，國軍總司令蔣介石長得也算英俊，宋美齡確實很美麗；至於汪精衛的演說，廣州女學生擲花如雨，他都是以一種看熱鬧的姿態對待的。
在燕京大學裡，胡蘭成只待了短短一年的時間，雖然當時他也有自己的一些想法，但是也只不過是文人的一種衝動罷了。當時，國家的變動屬於頭等大事，人民的心思也為之牽動著。在這種時刻，胡蘭成也受到了一些影響，但是他的性格比較木訥，很少會有勇敢行事的時刻。所以在燕京大學的這一年中，他的情緒是相當低落的，於是他便想起來回家。胡蘭成總是這樣，只要風光的時候就不會想起自己還有個家，而受到挫折的時候就會立刻想到逃避，想到回家。這就是浪子的本性！胡蘭成就是一個十足的浪子，他永遠在外面奔波，只是所做的一切都是為了自己。
胡蘭成回去的時候，選擇先從天津乘船到上海，然後轉乘火車去到杭州，到達杭州之後，他休息了一晚上，第二天才渡船回到了胡村。
玉鳳看見丈夫回家，心裡很是歡喜。胡蘭成還沒有進家門，玉鳳就將懷中的嬰孩往他懷裡塞，玉鳳興奮地連聲說道：「爹爹回來了！」這時，孩子已經1歲了。胡蘭成剛剛離開家，孩子就出生了，當時胡蘭成正在去北京的火車上，火車正好經過黃河，看著滾滾的黃河他立刻想到了夏禹治水，於是仿照夏禹兒子的名字，提筆寫信給家中的孩子取名為「啟」。
按照人之常情來說，胡蘭成在見到自己的骨肉時應當極其興奮才是，可是當他把孩子抱在懷裡的時候，他感到非常不自在。對他而言，是玉鳳讓他抱孩子的，所以他才不得不抱一抱。倫常之情在他心裡，似乎也是需要「理由」的，他自覺見孩子見得並不多，因此感情未深也是「可以理解」的。
回到家後，胡蘭成又過著無所事事的生活，這種狀態一直持續到第二年的夏天。有一天，他去岳父家散心，老丈人便帶著他去到了蔣介石的家鄉奉化，還特意帶他去看了雪竇寺；接著還帶他去了蔣介石的表親葛竹王家。在家鄉葛竹王家算得上是有頭有臉的人家，並且家中還有一人隨軍北伐，正在南京做官呢！直到這時，胡蘭成才終於明白岳父帶他遊玩的用意所在。於是，胡蘭成隨即起身來到了南京，找到總司令部。但是，因為關係太遠，再加他除了念過書外沒有一技之長，所以連續奔波了好幾天也沒有謀到事做。
胡蘭成一直在南京滯留了八天，最後終於離開了。但是，他並沒有回家，而是轉站來到了杭州，第一次進入了斯家的大門。而這一住，就在斯家住了一年。
斯家大少爺頌德與胡蘭成是蕙蘭中學同學，他中學畢業之後就進入了光華大學，當時正因病在家休息。
當時斯家在金洞橋，家庭環境相當不錯，而「維新變法」的核心人物康有為也是他家的常客。現在雖然搬到了金剛寺巷，只有兩院三進的平房，但是大廳裡仍然掛著康有為寫的「大江東去，浪淘盡，千古風流人物，故壘西邊，人道是三國周郎赤壁」。令整個宅子英氣十足。
胡蘭成住在斯家的這一年中，斯家對他可算是百般呵護。而且胡蘭成還享受到了斯家特有的關愛，那就是斯家兄妹每月都有20角銀洋的零用錢，胡蘭成當然也不例外。當時胡蘭成並不是親手接下這20角銀洋的，而是由太太在胡蘭成不在時親自放進他床前的抽屜裡的。此外，過年的時候胡蘭成還得到了兩塊銀元的壓歲錢，這也是由太太用紅紙包好後放在果盤裡由使女送進他的房間的。
如果照這樣發展倒也沒有什麼，反正胡蘭成就是那種只顧自己從不為家人考慮的人。可惜，他雖表面上顯得斯文木訥，但實際上有著拈花惹草的天性，因此出事只是早晚的問題。
頌德有一個妹妹，名叫雅珊，當時正在女中讀書，她雖只有16歲，但是個性特別，人又很剛烈，就連衣著打扮、言談舉止都絲毫沒有小女孩的怯弱，而這正是胡蘭成缺少並一直嚮往的。所以雅珊的一顰一笑深深地震撼了他的心。
有好幾次，雅珊在客堂裡遇見胡蘭成，便向他借小說看；胡蘭成雖然沒有，卻還特地買來給她看。其實完全沒有必要這樣做，只不過胡蘭成心思不正，在他看來這就是以書傳情。他想通過一來二往的借書換書，讓單純、不經世事的雅珊投懷送抱。只可惜，斯家太太是一個相當厲害的人，胡蘭成的心思被她一眼就看穿了。但是，她是一個做事留有餘地的人，胡蘭成畢竟是一個讀書人，她不想讓他下不來台；更何況他是兒子頌德的同學，如果這事被傳了出去，胡蘭成可以一走了之，但是斯家就沒有立足之地了，所以她也就沒有說破。
只是將這件事情告訴給了頌德，頌德一聽立刻惱怒起來，不過他也不願傷了胡蘭成的自尊心，於是專門從光華大學寫了一封信給胡蘭成，信中只有短短一句話，他讓胡蘭成立刻離開斯家！雖然只是簡短的一句話，但是卻蘊含著巨大的力量，胡蘭成自知理虧，也就沒有多說什麼，灰溜溜地從斯家離開，回到了胡村。而斯家太太當然知道其中原因，胡蘭成走的時候她沒有挽留，也沒有點破，只是禮節性地為他餞行，並給了他五元錢作為路費。總的來說，斯家對待胡蘭成可謂是仁至義盡了！可惜，胡蘭成並沒有因此而覺醒，他還這樣為自己辯解道：「我做了錯事，不必向人謝罪，更不必自己懊悔；雖然心有內疚，也不過像採蓮的船一般左右搖晃而已。」
也許冥冥中自有定數，胡蘭成與斯家的「緣分」並沒有結束；只不過這種緣分來自於胡蘭成的沒臉沒皮。半年之後，他再次來到斯家，而且以後的逃亡他同樣賴在斯家。如果換了有那麼一點自尊心的人，是絕對不會再次打擾斯家的，可是他從未這樣想過，他只按照自己的意願行事，從來沒有為斯家考慮過他的出現會給斯家帶來怎樣的災難！
胡蘭成從斯家回到胡村以後，又稀里糊塗地混了半年，他的天性注定他的浪蕩，所以他又來到了杭州，想要為自己找尋出路。而這次他又住在了斯家！雖然過去半年的時間，但是他仍然懷念雅珊為他帶來的心跳回憶，真是臉皮厚到了極致！只不過，斯家太太並沒有計較以前的事情，依然一如既往地照顧著他，雙方就好像什麼事也沒有發生過一樣。好在胡蘭成這次住的時間並不長，不然說不定會「舊事重現」。
原來胡蘭成的表哥吳雪帆在杭州中山英文專修學校任校長，他自然將胡蘭成聘請到了他的學校。
一年半之後，胡蘭成轉到了蕭山湘湖師範學校教書，在那裡待了半年的時間。在英專和湘湖師範學校教書的這兩年裡，每個月他都會按時將一部分錢寄回家中。除此之外，他對家中的老母和妻子玉鳳並沒有牽掛之情，只是在寒暑假的時候回家一次。他生來就注定是一個薄情寡義的人。
有一天，大哥積潤來到湘湖師範學校看望胡蘭成，胡蘭成便將那個月的錢給他讓他帶回去。誰知，這一舉動反倒成了積潤威脅玉鳳的一個把柄，積潤回家之後就對玉鳳說道：「我已經和蕊生說過了，蕊生也認為你不對。我這個阿弟是非常尊敬長輩的，自從我當家以來，他每次寄錢寫的都是大哥收。你竟然欺騙我，看我將來讓蕊生把你送回唐溪！」玉鳳被積潤這番話嚇了一跳，雖然她知道胡蘭成是不會這樣說的，但是心中仍然不安，於是爭得吳菊花的同意，這才抱著三個月大的小女兒棣雲一路打聽，來到了湘湖師範，想要將事情跟胡蘭成說清楚。
可是，胡蘭成見到玉鳳的時候他並沒有歡喜，反而覺得玉鳳的到來給他添了麻煩。他在生氣之餘，看著玉鳳的一身打扮與女同事完全不能相比，竟然還覺得失去了顏面。所以，當他在校門口接玉鳳的時候，感覺像被剝了衣服讓眾人觀看一樣，作賊似的急忙溜回了自己的宿舍。
但是玉鳳卻是好樣的，她竟一點畏懼感都沒有，雖然這是她第一次來湘湖師範。可見玉鳳的落落大方與胡蘭成截然相反。當她見到自己的丈夫後，立刻覺得心中安穩了許多，以至於忘記了此行的目的，最後只在晚上休息的時候才匆匆問了一句，知道並不像大哥說的那樣之後，她也就沒有再多問什麼。玉鳳對於自己丈夫信任至斯，真算是中國傳統女性隱忍柔善的典範了。
在湘湖師範休息了一晚之後，玉鳳就回家了。而胡蘭成竟然沒有一點挽留之情，他將玉鳳送到蕭山汽車站後，便頭也不回地離開了！
胡蘭成之所以對玉鳳那麼冷漠，不但因為他本來就淡漠親情，還有一個重要原因就是：那時他正熱烈地暗戀著一個女孩。這個女孩被叫做四小姐，是胡蘭成同學於君的妹妹。那時，胡蘭成正處於如饑似渴的年齡，外加「五四」新思想的影響，他實在不甘於與玉鳳的舊式婚姻，想感受一下新式戀愛的甜美，於是腦袋就不由自主地胡思亂想了。但是，胡蘭成過於迂腐、木訥，自然不會引起這種年輕女孩的注意，因此他那點猥瑣的心思也就處於自我安慰的狀態。
但是，玉鳳卻是對婚姻忠貞不二的人。胡蘭成不在家的日子裡，玉鳳心裡總想著他，不論是在廚房燒火做飯，還是在屋簷底下做針線活，心裡所思所想的，都只有胡蘭成！就連在平淡的生活中，與婆婆、侄女說話的時候，嘴邊掛著的也只有胡蘭成的名字。在玉鳳的心中，胡蘭成是自己要愛護一生的男人，她從來沒有怪過胡蘭成對自己的冷漠；她唯一擔心的就是，當胡蘭成大富大貴之後會拋棄了她，即使在過完苦日子之後也不能享受胡蘭成的疼愛。但是，玉鳳從未將這種擔心說出口，而是一個人默默地承受著，只是病入膏肓的時候對胡蘭成說道：「你待我是好的。只是你曾經說過，和我結婚以來你從未稱心過，這句話我一直放在了心裡。」玉鳳這樣提起，並不是記恨胡蘭成，而是從心裡原諒了胡蘭成，只不過她想在入土之前求得內心的平靜！其情如此，真是讓人喟歎！
胡蘭成在湘湖師範任職半年之後的暑假，他回到了胡村。聽說表哥吳雪帆的好友崔真吾那時正在廣西國民黨黨部，以及第四集團軍總司令部任職，於是就想在過年春天去廣西謀職，結果正好趕上「一·二八事變」，道路不通，而玉鳳又因為太過操勞病倒了，胡蘭成這才被迫暫留在了胡村。
玉鳳剛剛病倒的時候心裡非常恐慌，經常無緣無故地默默流淚。每當胡蘭成扶她喝藥的時候，她都會哭喪著臉說：「死不得的呀！」可見，玉鳳對家庭、對丈夫有著太多的留戀。而胡蘭成的溫言相勸，這才使得玉鳳稍稍平靜了些。
胡蘭成的岳父唐濟仙原本就是一個中醫，自從玉鳳生病那天起，他就隔三差五去胡村給玉鳳診斷。當時，胡蘭成的家庭頗為窮困，因此不論吃也好，或是藥也好都沒能對玉鳳照顧周到，唐濟仙自然心疼女兒，於是隨口說道：「把你嫁給這樣的人家，實在委屈你了。」
胡蘭成哪能受得了這種話，於是摔門而出，逕直去了俞傅村，準備向庶母借一點錢。由於自胡蘭成自他的義父死後，幾乎就沒有再到庶母這跑動，因此，庶母遭也把他看成一個「不孝兒」了。他到了庶母家後並沒有直接開口借錢，而是隱晦地說玉鳳生病了，想讓庶母主動借錢給他。但是，庶母見他自己還抱著文人的架子不放，心中有氣，便也不提錢的事。胡蘭成見庶母也不主動提出，他便幹了一件荒唐而滑稽的事：在庶母家住了下來，既不開口向庶母借錢，也不去謀劃別的辦法。似乎臥病在床的妻子玉鳳只是得了感冒這種病一樣！