一枝的病好了之後，兩人就開始黏黏糊糊了。一枝到廚房，胡蘭成也跟著來到廚房；胡蘭成寫文章的空閒時間就又轉到了一枝的面前；早飯之後一枝洗漱好了梳妝的時候，胡蘭成就又湊到一旁。胡蘭成有一次很是衝動地對一枝說：「我要和你結婚。」本想一枝不會拒絕的，誰知她卻拒絕道：「不可，我是人妻，現在這樣子便好。」胡蘭成其實明知自己並沒有誠意娶一枝為妻，卻依然這樣問。一枝自然也是知道其意不誠，哪有這樣不作打算地貿然求婚？！一枝她梳梳頭笑著說：「你說我生得好看，對鏡自己端詳，果然還好看似的。」
每當一枝開衣箱的時候，胡蘭成都喜歡在一邊看著。一枝尚留著幾件高級的和服，那是她作為女兒時，父親送給她的。在胡蘭成眼中，和服是可以在衣箱裡留一世的，再取出來穿時仍是新的，就像一枝的人一樣。曾向一枝要過一件東西，那就是包袱，一枝將自己做新娘時用的給了他，上面有金絲線繡成的鳳凰。後來，胡蘭成拿它包裹過《今生今世》的底稿。
胡蘭成的前妻全慧文有一句話，說得是：「好歹不論，只怕沒份。」用在胡蘭成身上真是恰如其分。的確，胡蘭成幾乎是對任何一個能夠接近的女人都不會放過的，他自己也說：「常時看見女人，亦不論是怎樣平凡的，我都可以設想她是我的妻。所以我心裡當一枝已是我的妻倒是真的。」
而這時的張愛玲，從朋友那裡聽說香港大學已經復校，於是決定告別培養了她的上海，繼續去香港求學。
兩年之後，胡蘭成從一枝家搬了出去，原因不詳，但也能猜出一二來。一枝已是他人的妻子，不能離婚嫁給胡蘭成；而一枝的丈夫和後母也漸漸看出了他倆的私情，不能容忍，便下逐客令了。
胡蘭成後來搬到的是一戶只有一個四十多歲的母親和兩個女兒的家庭，胡蘭成也在她家住了兩年，這兩年倒是相安無事，畢竟胡蘭成也不是人見人愛的主兒，對他不感興趣的女人大有人在。兩年之後胡蘭成搬走，和舊相識佘愛珍結婚住到了一起。
佘愛珍是上海解放前不就保釋出獄的，先於胡蘭成一年來到香港。抗戰勝利之後，重慶政府查辦漢奸，以漢奸罪名將佘愛珍抄沒財產，並送進監獄，和李士群的遺孀葉吉卿關在一起。審理了幾個月之後，佘愛珍被判處有期徒刑七年，三年半後被保釋出獄。吳四寶被李士群毒死後，佘愛珍也就變得淡然了，漸漸地退出了「江湖」，日子過得可算是無憂無慮，閒適平淡，於是就學唱京戲。
佘愛珍到香港的頭年，住在義子李小寶家。在九龍廣東街店面的房子，樓下開有上海百貨公司，都是小寶的一班阿侄阿甥在管賬。李小寶夫婦更是對著佘愛珍繼娘長繼娘短，非常親熱、義氣。
李小寶夫婦孝敬佘愛珍，佘愛珍對他們也不錯，她剛來香港時李小寶還不怎麼寬裕，她就賣了自己帶的首飾，來資助李小寶夫婦倆。佘愛珍在香港待了三年，天天就只是打打牌，無甚心思可煩，日子倒也過得閒散自如。
第二年佘愛珍搬出去住了，搬到了加寧公寓，李小寶就每月按時送去一千元港幣給佘愛珍作為日常開銷，李小寶妻子則早晚都去看她，幫忙添置一些缺的物品。佘愛珍五十歲的生日此間在香港過的，李小寶為她辦得風光無限。
佘愛珍到香港的第二年春，也就是1950年，胡蘭成也來到了香港。他聽說佘愛珍在廣東街，當晚就去拜訪佘愛珍，因李小寶那裡人多，胡蘭成就邀請佘愛珍到他住的旅館裡閒敘。二人挨著坐在一起的時候，胡蘭成情不自禁握住佘愛珍的手，蹲下身去，將頭埋在佘愛珍的兩腿之間。佘愛珍心裡明白胡蘭成是一時衝動，故而沒作任何反應。
兩年之後，也就是1952年佘愛珍去了日本，但僅僅兩個月之後又返回香港，胡蘭成是在她臨行的前一天接到了她的信的，看了信之後隨即前往新宿去看她，但轉來轉去找了一個小時，佘愛珍的住處也沒有找到，正準備放棄了，看到了路邊的警察，於是抱著試一試的心理上前詢問，方知就在這附近，二人鍾相見了，彷彿是命中注定的。倘若這次胡蘭成沒有找到佘愛珍，以後也不大可能會去找她的，而佘愛珍業肯定不會再給他寫信，二人後面的一段姻緣也就根本不會出現的了。
這年冬天，佘愛珍和李小寶又一次來到了日本，這次她是和義子一起來日本做生意，依舊是住在新宿，胡蘭成聽說之後，就每週去看她一次。二人原本就是親如姐弟，在異國他鄉相遇並能經常在一起，感情自然就愈加升溫。
次年三月的一天，胡蘭成從清水市回東京，沒有在家作任何停留，便去看佘愛珍。那是下午時分，天氣晴好，佘愛珍家一人獨自在家，胡蘭成便想乘機表白，他對佘愛珍歎了一口氣，說道：「火車經過鐵橋，我看著橋下的河水，當下竟跳入這河中。」以自殺來讓女人憐愛的方式，分明就是在裝模作樣，讓人覺得可笑，也虧胡蘭成能夠想得出來。佘愛珍聽此一說，心裡倒也有點著急，隨即便說道：「你可不能這樣，我往後還要指望你呢。」說完臉上也不禁微微一紅，眼波流動，隨後便俯在桌子上寫字，看見胡蘭成回過頭來，遂對他一笑，倒也有一種小女孩似的調皮，胡蘭成於是心下大動，就在客廳裡和佘愛珍追逐戲耍起來。胡蘭成的表白便如此完成了。次年春，二人結為夫婦。對於此事，胡蘭成曾說過：「我對她的心思究是如何，說真也真，說假也假。」但他心裡卻是很歡喜，便對佘愛珍說道：「原來有緣的還是有緣。」不料佘愛珍卻說：「我與你是冤。」雖是冤，可還是走到了一起。
剛結婚的那兩年，二人整日在一起，口角之爭自是免不了的，往往是胡蘭成對佘愛珍嘮嘮叨叨不絕於耳，具體原因倒也是說不上來什麼，可能兩個人在性格、脾氣上差別還是很大的，經常是口角不斷，所以就經常不住一起，當時胡蘭成住在奧澤，佘愛珍和李小寶夫婦住在新宿，隔幾天二人才見一次面。即便是這樣，摩擦還是免不了。就像胡蘭成自己所說的：「我生來便是個叛逆之人，總是歡喜對於好人好東西叛逆。」
後來李小寶出了事，又惹上了官司，佘愛珍也被牽連進去了，胡蘭成為她跑前跑後，奔波勞苦，二人的感情又漸漸回升了。佘愛珍還幫他將《山河歲月》的原稿謄清了；那年六月，胡蘭成得了盲腸炎，住在下高井戶秋田外科病院，她也盡心盡力地服侍著；隨後稍後為了更舒心地生活，佘愛珍又開了一個酒吧。
自與佘愛珍結婚之後，胡蘭成並沒有收心，仍與女子來往——前妻應英娣。應英娣在香港開了一間小店，專賣日本的一些小玩意兒，如飾物人形之類，因而經常到日本進貨。昔日兩人雖然因為張愛玲而離了婚，但是應英娣柔和硬氣，待人心思好，不會和胡蘭成計較他那點文人的小心眼，所以感情還是有的，兩人就像兄妹般親切。
《山河歲月》是胡蘭成避居溫州時所寫的一本書，也是一部縱論中國文化與天下大勢的書。寫完後，胡蘭成曾以化名將其中部分章節寄給文化界名流梁漱溟看過。據說梁漱溟看後非常賞識，並以此邀他北上議事。因此，胡蘭成對此書也甚為自矜。
胡蘭成1948年開始寫《山河歲月》，直至1954年春，共歷時六年，一共寫了十六萬字，最初是由日本清水市西貝印刷廠印刷的。《山河歲月》一開始並不是準備寫這麼長的，而只是一篇八千字的論文，1948年逃難時，他在范秀美老母親家開始寫的，後來慢慢寫成了三萬字。當時的溫州名宿劉景晨看了之後說：「意思是好，文章要改。」胡蘭成就又再寫，增至六萬字，又拿給劉景晨看，劉景晨只看了一半，就說還是不行，胡蘭成又接著再改。
就是因為這個，胡蘭成對劉景晨很是感激，他在文章中說：「我是生平不拜人為師，要我點香亦只點三炷半香。一炷香想念愛玲，是她開了我的聰明。一炷香感激劉先生，是他叫我重新做起小學生。一炷香敬孫中山，是他使我有民國世界的大志。半炷香謝池田篤紀，最早是他使我看見漢唐文明皆是今天。」
胡蘭成非常重視《山河歲月》，在這本書的序言中說：「我此書能被當作閒書，無事時有事時可以常看看，即是我的得意了。」胡蘭成在寫的時候，抱著「打天下亦只是閒情」的想法和態度的，將「閒」字看得很重，盡量採用閒情逸致去寫；但閒情歸閒情，寫起來還是很用心的，從幾易其稿即可看出，而且，他嚴格遵循張愛玲對其告誡的「文章體系嚴密不如解散了好」的思想，實在用心良苦。他是抱著與張愛玲比高下、與世人作見面禮的心思動筆的，所以一再在張愛玲面前提及。因為他說過「沒有張愛玲，就沒有《山河歲月》」，因此要讓張愛玲「慌慌也好」。
《山河歲月》出版之後，胡蘭成原本打算給張愛玲寄一本去，他認為這本書「也不見得就輸給她」，但是終究還是沒有寄。只是，想必張愛玲肯定還是看到了這本書，香港某個小報刊登過，就胡蘭成《山河歲月》一書問及張愛玲，但是她沒有發表任何言論。
巧的是，池田那段時間有事要去一趟香港，胡蘭成本就心理不平多日，於是猶豫中請池田有空去看看張愛玲。但是，池田回來後對於此事隻字未提，胡蘭成知道肯定不順利，所以也就不好多問，但心裡已經存有芥蒂了。在無事和鬱悶中，他開始動筆寫《今生今世》。