她說道：「表妹，難得他對你這麼好，你就不要辜負他的心意了，我會幫你照顧這裡的，你就放心去吧。現在不去，恐怕以後就沒有這樣的機會了。」三勸兩勸的，把楊荔枝的心也說得活動起來，就同意了。
赫連左聽說後高興萬分，立刻派人打點他和楊荔枝的日常用品和一路所需的東西，又去跟赫連雲天辭行。
赫連雲天聽說他們要走，心裡萬分難過，他瞭解赫連左，從小他就盼著有一天離開自己，去過自己想要的生活，如今他已經長大成人了，正可以遠走高飛了，這一去恐怕再也不會回來了。他有心不讓他們去，又知道無論如何也阻止不了，只得含淚同意了。
赫連左見沒有什麼阻礙了，立刻大刀闊斧地佈置起來，將從杜家弄來的財產全部兌換成各處都可通用的銀票帶在身上，又將路上所需用之物裝了兩大車，將行李裝了三大車，每個車上配上兩個小廝。
他怕人多累贅會使楊荔枝起疑，再一個也影響出行的心情，就跟她先坐著一輛普通輕便的馬車提前一天出發了，只帶了一個趕車的小廝和一個隨身服侍的丫頭，其餘人馬在後面慢慢跟上，沿途有什麼事就用信鴿來傳遞消息。
楊荔枝並不大情願離開這裡，因為這裡有她所掛念的人事物，所以出城的路上不停地掀開簾子看外面的景物，想將它們刻在腦子裡。赫連左一直默默地陪在她身邊，心情極為舒暢。
馬車一路向城外駛去，出了城門後就是寬敞的官道，平坦而安全，他們一氣走了十幾里路，面前的景物就逐漸的荒涼起來。楊荔枝見眼前除了荒山就是枯草，看了心裡更加難過，就不再看，放下簾子坐回車裡獨自默默傷感。
赫連左見她不開心，就找出話來安慰她，他本是不擅安慰人的，但是楊荔枝的心情還是逐漸好轉起來。又走了十幾里路，天色漸晚，車伕見前面有個小鎮，問赫連左是否停下來休息一下。赫連左覺得走了這麼久人馬都累了，就命停下來吃飯住店。
就這樣曉行夜宿，盡撿大路走，馬車又輕便又不招搖，所以一路上他們沒有碰上什麼危險，很順利就到了江南水鄉。對這裡的風土人情他們一直都非常嚮往，一來到這裡就開始到處流玩，把沿途經過的地方都遊覽遍了，也把各種地方小吃也都吃遍了，感情越來越好。
楊荔枝看了許多沿途景色，又有赫連左陪身邊跟她說話解悶兒，漸漸把之前的不愉快都忘掉了，人也變得開朗了許多，只是偶爾還會在夜深人靜時想起舊事傷感一回。
五個月後，楊荔枝發現自己懷孕了，那時他們正好走到江南的烏鎮。赫連左看這裡山美水美，想她的身子必定會日漸沉重，經不起舟車勞頓，不如就在這裡租個房子住下來。楊荔枝也非常喜歡這裡，就跟他一起找了棟靠湖的房子住了下來。
日子安定下來後，赫連左想離開家也有半年了，這段時間一直沒有給家裡寫過信，也不知道赫連雲天過得怎麼樣了。當時他謊稱出遊離開了，看遍世間的喜怒哀樂，如今也是有孩子的人了，越來越理解父母的苦心，心想家中就剩老父親一個人，不管以前他如何不對，畢竟是自己的父親，過去的就讓他過去吧，還是把他叫來一起住吧。而且他還關心一件事，如今秋天已過，他想知道趙慶生到底死了沒有，就修書一封派人送回了家，順便讓他打探一下家中的情況。
此時赫連雲天已經納了杜永芙為妾，又離了職賦閒在家，正無事可做，收到赫連左的書信後非常高興，心想沒想到兒子還記得自己。想自己年紀已經大了，離死的日子也不遠了，如果能見見兒孫，享受一下天倫之樂也就不枉此生了，就動了去的念頭。
杜永芙聽說他要去極力反對，說他年紀大了身體又不好，經不起舟車勞頓，再說家裡這偌大的家業怎麼能說變賣就變賣？這可是祖宗的根基。又說赫連左讓他去只是一時的好心情，保不準哪天就變了心將他趕出去，到時候他去哪兒？還不如老老實實地守著自己的家業過舒坦日子。
赫連雲天人老了耳根子有些軟，再加上習慣了對她的話言聽計從，又想到自己跟兒子的關係確實不怎麼樣，如果到了那裡真像她說的怎麼辦？就遲遲沒有動身，只是修書一封告訴赫連左他最近身體不適，等過陣子好了就過去。
赫連左以為上了年紀的人身體多少都有點兒病痛，而且楊荔枝懷著孕又走不開，就修書回去叫他注意身體，請好醫生看看，也就沒有再摧他。直到一個月後他突然收到了一封信，說赫連雲天病情太重去世了，他震驚之餘大哭了一場，本想回去送終的，沒想到楊荔枝在這個時候生了，他只能在異鄉簡單地祭奠了赫連雲天，又派一個親信帶著書信回去幫著打點一應事務。
那夥計去了半個月就回來了，說他回去的時候老爺已經下了葬，被埋進了祖墳，但是家中卻早已面目全非，所有以前的東西都易了主，問了新主人才知道老爺去世的第二天就有人拿著房契地契等物減價轉賣，他看著合適就買了下來，還有契約為證。我問他賣他房子的人是誰，他說是個年紀大約二十四五歲的女子，還跟我描述了她的樣子，小的聽著那女子長得一般，但是打扮得卻非常妖艷，不像是府裡的人。」
赫連左皺眉問道：「知不知道她是誰？」
夥計道：「當時小的也很納悶，就到處去問，後來才知道她是老爺後娶的一個小妾，名字叫杜永芙，是杜家的小姐。」
「什麼？！」赫連左和楊荔枝都大吃了一驚，他們作夢也想不到會是她。
那夥計道：「小的當時也嚇了一跳，因為杜小姐在咱們府上住過很長一段時間……