半年後，胡蘭成終於謀得差事，到杭州中山英文專修學校教書，不是靠斯家或其他外人幫助，靠的是自己的表哥吳雪帆。
吳雪帆這一輩人已開始在社會上嶄露頭角，新近擔任英文專修學校校長，看到自己這位「老表」已無業多年，在社會上閒蕩吃人家白食，自己掌校，自然要加以照應。胡蘭成雖沒有學歷，中文英文還不錯，教教中學生應無問題。
胡蘭成在杭州英文專修學校教了一學期，半年後，他轉往蕭山的湘湖師範學校。
在外閒蕩了幾年，自己也寄食於人家，他自然無從顧及家中，現在重新有了職業，他開始按月往家裡寄錢。結婚四五年，他與妻子是離多合少，在家時間攏共不足一年，可他卻不願將妻子接來身邊過日子，這只能歸於他對玉鳳的無愛亦無情。他不帶玉鳳出來，冠冕的理由是，新來家的媳婦應當服侍母親，可他的行為只證明是為了方便他自己。沒有妻子在身邊牽累纏擾，他自可隨處驚艷和獵艷。他在斯家勾搭小姐不成，討了個沒趣，在英文專修學校教書時又有過一次嘗試，對像仍是同學的妹妹於四小姐，於家也是杭州富戶，胡蘭成一輩子貪愛富貴，追求大戶人家小姐，他承認也有貪圖城裡繁華的想頭。這次戀愛的失敗，他歸咎於自己在大家閨秀面前的笨手笨腳，舉止失度。從他以後男女關係上的幾乎次次得手來說，杭州的兩次失敗，顯然為他積聚了可貴的經驗。
他在外面花心，妻子玉鳳在胡家日子卻是難過。
胡蘭成婚後第二年，原來的大家庭就分了家，四哥四嫂聯同新寡的三嫂分立門戶，胡家貧窮無產，分家實際是分人，剩下的胡母隨胡蘭成，還有三哥前妻的女兒青芸，大哥單身，胡蘭成常年在外，大哥就算留在他這裡幫他當家撐持門面。大哥與玉鳳不和，聽信三嫂，幫襯著一起欺侮玉鳳。三嫂是三哥續絃，平時住紹興城裡娘家，難得回來一次，回來就拿玉鳳開心，說是打趣開玩笑，骨子裡都是帶惡意的。四哥四嫂也和三嫂投機，與玉鳳不多話，於是幾個人在一起常捉弄玉鳳，捉弄的主要話題就是胡蘭成嫌棄她，將來不會要她的。玉鳳口拙嘴笨，無法招架，不敢也沒機會對胡蘭成說，虧得有胡母的顧念照應，還有青芸相幫，玉鳳才得以在胡家過下去。
大哥還要生事，一日大哥來湘湖師範看他，胡蘭成就把當月原要寄家裡的錢交他隨身帶回，順便問了問家裡的情況，大哥答道一切都好。可大哥回家後卻向玉鳳發話道：「我已和蕊生說了，蕊生說你不對，我只蕊生這一個阿弟了，他是極敬重長上的，自從我當家，他每次寄錢來都是寫的大哥收。你不好，將來我要蕊生一乘轎把你送回唐溪！」玉鳳當下聽了大為恐慌。胡母勸玉鳳不要信大哥亂說話，青芸已十三歲，更斷然說六叔不會。玉鳳嘴裡說：「我也知道你六叔不會。」但千思萬想，還是放不下心，於是付託青芸服侍胡母，自己懷抱才三個月的女兒棣雲，一人直奔蕭山，來湘湖師範找胡蘭成。胡蘭成得知妻子來校，大吃一驚，心中大不高興，他急急趕到校門接玉鳳，不敢高聲張揚，學校中女同事和同事夫人多是新式摩登人物，玉鳳卻是一派鄉下農婦打扮，他怕玉鳳壞了他的面子。玉鳳直到晚上，兩個人在房裡時才將來意向胡蘭成和盤托出，胡蘭成不在意，連句安慰的話也沒說。草草一宿，第二天一早胡蘭成就打發她回了家。
其實玉鳳生前這個結始終沒有解開。玉鳳死後，侄女青芸告訴他，玉鳳一直擔心胡蘭成日後發跡會休她回家，她一想到此事就悲從中來，苦日子她過，而福卻由新人來享，她直到死都沒有把心思丟下。她自到胡家以後，可說沒過上什麼好日子，丈夫總不在身邊，自己一個人侍老撫幼，家中操勞田里勞作，有做事的份卻沒有當家的權，還要備受大叔子和妯娌的欺凌。她知道丈夫對自己不滿，可她對丈夫的期望並不高，只求能有真心待她，如果做不到，那只求不被屈辱地休回家即可。可憐幾年夫妻生活下來，丈夫並沒有給她信心。
按胡蘭成的性情，即便日後做官發財，休其回家恐怕不會，儘管他對玉鳳沒有愛情，也談不上怎樣的情義，他還不至於下流到有意欺侮自己的妻子。平素他對玉鳳不滿意，常常形於臉面上的惡聲惡氣，既是對玉鳳的，也是發洩自己在社會上到處碰壁的憤憤不平。玉鳳自知大病不起時曾對他說：「你待我是好的。只是你一回說，和我結婚以來你沒有稱心過，這句話我聽了一直擱在心裡。」胡蘭成對她解釋，那是對她生氣時故意傷她的話，是口不對心的。話說得口不對心，應該是真的，玉鳳從沒有讓他稱心過，也是真的。可夫妻兩人之間，更從「沒有稱心過」的應該是玉鳳。胡蘭成是「蕩子」，在無法可想時，他可以在人家閒住混飯吃，將妻子兒女扔在腦後，不管不顧，玉鳳是無處可去的，只能死守在家中侍老撫養兒女。胡蘭成一朝有了穩定職業，有了收入，還是對家裡負責的，至少能按時寄錢回家，可令人傷心的是，玉鳳自來胡家直到病死那幾年，恰恰是胡蘭成無穩定職業亦無可靠收入且脾性最躁動不安的那幾年。
對自己的這位結髮妻子，胡蘭成內心是感到歉疚的。他晚年的回憶中，記下了自己一生中與之先後結合的多個女子，對自己的「艷情」不吝惜筆墨，可細按文字，真正令他動情的，使他感到心有愧疚的，還是自己的這位正妻。曲折細微處，他的筆下，也是他的內心深處，正妻地位的玉鳳，與以後的其他女人是有所差別的。他說：「玉鳳待我，好比白蛇娘娘待許仙，瑤池風日，世上人家，她是這樣的感激知恩」，「她心裡真是歡喜的，」「是稱心知足的」；他說：「我與母親及玉鳳亦不必在於身邊，而只是同在這人世，如同星辰在銀河」；他又說：「我的妻至終是玉鳳，至今想起來，亦只有對玉鳳的事想也想不完」。其中他扯上孔子、《詩經》、白蛇娘娘、「梁山伯祝英台」之類種種的閒話，穿插迂迴，旁徵博引，令人感動，也感動了他自己，不全是一派自欺欺人的說辭。
玉鳳終於病倒了，臥床不起。
胡蘭成正巧在家。他是去年暑假向湘湖師範辭職，打算來年春天往廣西教書，回家休整了幾個月，正準備動身，不料上海發生「一·二八」事變，19路軍奮起抵抗，與日軍在上海激烈交戰，上海往南方去的水路交通中斷。如同張愛玲《傾城之戀》小說中的人物，戰爭使男女由分離轉為結合，成就為夫妻。在胡蘭成，卻是戰爭使他沒能和病中的玉鳳分離，使他多少對玉鳳有了個「圓滿的收場」，他在家照應一年，直到玉鳳去世。小說中成全的是婚姻，現實中的胡蘭成則多少補償了一點對玉鳳歉疚的心意。可憐見，只因為戰爭，才使得玉鳳在臨終之前與丈夫相處了一段婚後最長的時光。
玉鳳本來身體就弱，婚期遲到廿一歲也是為此，來到胡家，一操勞就發微熱，無丈夫身邊體貼，有他人在一旁閒言碎語，又心懷丈夫早晚要離異的心事，身體就更虧了下去，終至於不起。她真是苦命人，委曲求全成性，已病到在床不起，夜裡丈夫為她點燈、給她倒茶、抱她便溺，她只感到過意不去，總覺得為她治病錢花得多了。剛纏綿病榻時，她還驚慌啼泣：「死不得的呀！」及至病到臥床不動自知無救，反倒悲無所悲，只是愣怔無語。胡蘭成先還解勸，見她這樣，想到她自嫁後，在胡家生兒育女整日操勞，以及家裡一切的艱難維持，不禁伏在枕邊痛哭失聲，熱淚沾濕了玉鳳的臉。玉鳳只靜靜地不做聲，良久，才叫他一聲蕊生。胡蘭成哭道：「你若不好了，我是今生不再娶妻的了。」玉鳳說：「不可，你應當續娶的。」又說，「我死後也會護佑你的。」這是夫妻兩人生離死別的最後一面。