廣平王攻下西京後，僅在長安駐守鎮撫三日，以虢王李巨為西京留守，廣平王則繼續率大軍東進，十月初自長安出，乘勝進攻東都洛陽。
洛陽與長安之間僅潼關險峻，而潼關又是座西向東，難以堅守。逃出西京的叛將張通儒等在潼關收羅散兵，退守陝郡。安慶緒又派嚴莊調集洛陽的全部兵力，與張通儒合兵共步騎十萬餘，號十五萬，於陝郡阻擋官軍。
十月十五，兩軍相遇於新店。叛軍先到，搶先佔據了有利地勢，依山佈陣，郭子儀初戰不利，被趕到山下，此時本是沿南山搜索叛軍伏兵的回紇兵突起襲擊。經西京一役，叛軍對回紇無不聞之喪膽，當即陣腳大亂。官軍與回紇左右夾擊，再一次將叛軍打得大敗，攻克陝郡，安慶緒的主要兵力也在此一戰中消耗殆盡。
嚴莊率先棄陝郡而逃至洛陽，告知安慶緒敗狀。安慶緒乘夜帥其部眾逃往河北，臨行前竟將先前俘虜的哥舒翰、程千里等三十多名唐將全都處死。
「想哥舒翰也算一代名將，立功無數，可惜晚節不保，最後落得如此下場，還不如當初一死殉難的好，還能留個忠烈之名。」
李泌重新封好東京送來的捷報，親自送到宮門，讓內侍立即呈給皇帝。回來時元帥府內眾人仍在議論紛紛，就菡玉一個人默默地坐在角落裡，手裡拿的捷報復本歪在腿上，不知在想什麼。他走過去喚她：「菡玉。」
菡玉回神，把復本拿好，站起來應道：「大哥。」
李泌把她拉到一旁，小聲道：「玉兒，哥舒翰死了，你心裡好受些麼？」
菡玉吃驚地抬頭看他：「大哥！我怎麼……」
她想說，我怎麼會這樣想，但話到嘴邊卻說不出口。她也知道，哥舒翰、陳玄禮、李輔國，於公於理，他們是忠君為國，是捍衛皇室正統，他們沒錯。如果換作十年前，她也會毫不猶豫地站在他們一邊。然而於情於私，她又如何能不怨。
李泌又道：「自從長安回來你就一直悶悶不樂，是不是……」
菡玉扯出笑容道：「哪裡，我只不過見長安人生凋敝，與戰前昇平繁盛之狀迥異，有所感懷罷了。對了，這回廣平王入東京，有沒有如回紇之約？」
李泌道：「這個你不用擔心，我早與廣平王商量好，但以安氏父子搜羅的金銀珠玉賂回紇，可保洛陽百姓免遭擄掠。」
菡玉疑道：「安氏父子所得財物盡輸范陽，少留東京，回紇焉能滿足？」
李泌道：「另有洛陽父老自出羅錦萬匹以獻，目前回紇軍已撤出東京，城內安然。」
菡玉點點頭：「那就好，至少暫時無憂了。」
李泌手扶她肩道：「這些事你就不用再操心了，等我過幾日回長安探過宗親，咱們就一道回衡山去吧。」
菡玉訝道：「這麼快就走？不是說等天下平定之後再回去的麼？」
李泌道：「如今兩京平復，安祿山已死，安慶緒敗走，叛軍主力全滅，天下雖未大定，但也翻不起什麼大浪，以後就是兩邊慢慢地磨罷了。你也知道我閒散慣了，不會做官，只是見陛下有難前來相助。現在劫難已過，陛下又有廣平王、郭大夫等輔助，我自然可以回去過我的逍遙日子了。」
菡玉道：「可是還有半壁江山陷於戰亂，安慶緒尚未伏誅，史思明野心勃勃，回紇吐蕃不服天朝威嚴，以後更有……」說了一半停住。她所知的事已經做不了准，安祿山都死了，也許……真的不會有事了罷。
李泌道：「照你這樣擔心這個擔心那個，天下永遠不會有真正太平的一日。我且問你，我走了之後，你一個人還能盡心盡力輔佐陛下麼？又能盡多少力呢？」
楊昭始終是橫在她和皇帝心間的一根刺，她對合謀殺死楊昭的人難以釋懷，皇帝也不願重用楊昭親黨。同為奉寶冊傳位的宰相，房琯受到皇帝重用，韋見素就因攀附楊昭，到順化後不久便被罷相，遷左僕射，後又遷太子少師。
菡玉訕訕笑道：「也是，小弟能力低微，非經天緯地之才，做做大哥的幫手還行，一個人確難獨當一面。」
李泌知道她是故意顧左右而言他，只是歎氣。
菡玉又道：「不過，如果日後又有異動，希望大哥還能重出山林。」
李泌道：「這自不必說，以陛下對我的恩情，於國於私，我都會來助力。」
正說著，門外突然傳來鼎沸人聲，竟是皇帝聽聞攻下洛陽，喜不自勝，親自趕到元帥府來。一進門，不等眾臣行禮，皇帝便急沖沖握住李泌的手，連聲問：「先生，廣平真的克復東京、盡殲逆黨十萬大軍？可有斬獲安慶緒級？」
李泌回道：「安慶緒逃竄至河北，部屬僅有千百，如令廣平王乘機追伐，相信不日便可斬其獻於闕下。」
皇帝道：「窮寇莫追，如今他也是喪家之犬了，何足為懼！洛陽易攻難守，還是讓廣平率大軍鎮守，以免再生枝節。」拉著李泌坐下，遣退眾人，笑道：「吾家得歸，皆卿之力也。我已上表請求上皇回京，我當歸還帝位，回東宮重修臣子之職。」
李泌站起身：「表書可還來得及追回？」
皇帝道：「剛剛派人送出的，應未遠。怎麼？」
李泌道：「請陛下立即下旨追回此表，不然，上皇將不會回來了。」
皇帝問：「表書有何不妥？我若不說讓位，上皇怎麼能回來？」
李泌道：「正是因為陛下要讓位，上皇才不肯回來。」
皇帝想了一想，即令內侍遣人快馬追回表書，又問：「那以先生之見，該怎麼辦好呢？」
李泌道：「陛下可以重新寫一封群臣賀表，就說自從馬嵬請留、靈武即位，到今日克復兩京，陛下時刻思念上皇，請上皇返京城，使陛下盡孝養之心即可。」
皇帝思忖片刻，歎道：「初時我的確是想還政於上皇，今聞先生之言，始悟其失。那便按先生說的，改上群臣表吧。」當即命李泌草擬群臣表。李泌口述，菡玉執筆，片刻揮就。皇帝看後，又略作修改，重新謄寫一份，立即命隨駕在旁的中使李輔國奉表書入蜀。
李輔國接過表書，瞄一眼李泌道：「陛下，臣掌管宮禁符契和宮門鑰匙，此去西蜀少說也要十天半月，符鑰豈可無人掌管。除長史之外，不管交予何人臣都難以放心。」
皇帝道：「那就先由先生攝管幾日吧。」
李泌上前謝道：「宮禁符鑰關係陛下安危，一向由大官管理，倉促交付他人，恐生疏漏。況且臣已準備和師弟一起回歸鄉里，難以盡責了。」
皇帝吃了一驚：「怎麼先生你要走？！還有吉卿？」
菡玉也上前對皇帝一拜：「臣與兄長志同。師兄已助陛下收回兩京，報德足矣，願復為山水閒人。」
皇帝拉住李泌急道：「我與先生經年共患難，現在終於到了可以同享太平之時，先生怎麼反而要離我而去？」
李泌跪下拜道：「臣有五不可留，請陛下容臣歸隱，免臣一死！」
皇帝連忙扶他起來：「先生何出此言？何為五不可留？」
李泌回道：「臣幼年即與陛下相識，是遇陛下太早;陛下全心以待，不分君臣，是寵臣太深;臣以布衣入朝，陛下委以軍國，是任臣太重;臣無舊勳、無族黨而遽挽狂瀾，是功太高;山人隱士得居中流，是跡太奇。此臣所以不可留也。」
皇帝聽後少頃沉默，轉而對李輔國道：「卿身負宮禁重任，不可遽離吾左右。蜀道艱難，另遣青壯者前去吧。此事就交由你安排。」
李輔國拜道：「多謝陛下愛護。」奉表而去。
皇帝這才問李泌：「先生是因為我沒有聽從你北伐范陽之計，所以才要走的嗎？」
李泌也直言道：「不瞞陛下，臣是貪生怕死，只求急流勇退，明哲保身而已。」
皇帝道：「先生這麼說，是把我當那越王勾踐，鳥盡弓藏、兔死狗烹麼？」
李泌道：「臣知陛下待臣以誠，方敢求歸。殺臣者非陛下，乃『五不可』也。危難之際陛下如此對臣，臣猶有不敢言者，何況太平時日。」
皇帝道：「先生有何不敢對我直言的？」
李泌道：「陛下答應臣離朝歸山之後，臣自當直言;否則，臣仍以保命為先。」
皇帝思慮良久，方道：「也罷，先前我就和先生約定好了，平亂之後，任憑先生自行高志。我答應你就是，但請先生明言，我有何過失？」
李泌道：「是建寧王。」
皇帝轉過身去歎道：「建寧是不可多得之才，艱難時有功，我也都知道。但他圖謀加害兄長，欲亂宗嗣，我為社稷大計，不得已而除之。此事我的確有不是之處，但既往不咎，希望先生不要因此對我生隙。」
李泌道：「臣並非糾纏於陛下以前的過失，而是希望陛下將來慎行昔日則天皇后鴆殺太子弘，雍王賢作《黃瓜台辭》曰：種瓜黃台下，瓜熟子離離：一摘使瓜好，再摘使瓜稀，三摘猶為可，四摘抱蔓歸。現在陛下已經一摘了，希望不會再摘。」
皇帝望著窗外半晌不語，回身正色道：「廣平身為嫡長，仁禮悌孝，又立下戰功，軍民心之所向。先生放心，將來他一定會繼承大統。」
李泌復拜道：「如此臣便可心安了。」
皇帝既答應讓李泌歸隱衡山，旋即敕令衡陽太守在山中為李泌建造屋舍，並給三品官的俸料，使李泌能一心向道，不必為衣食所累，也可說是體察入微、關懷備至了。
二十三日，皇帝乘輿回到西京。此時距離當日上皇離京出走已有一年零四個月，西京百姓更是歷經劫難，聞訊出城迎接，人群綿延二十里不絕，一路拜舞山呼萬歲，喜極而泣，入城後更是人山人海。皇帝車駕被百姓簇擁，從金光門到朱雀門的數里路足足走了三個時辰，一直到午後才得以進入宮城。
李泌回京後，皇帝便不再累以政事，菡玉自然也卸了官職，與明珠收拾準備行裝，只待李泌探視完京畿的親友，便可一同回衡山了。
「少卿，你真的要跟那位山人一起回山裡去修行，再不過問世事了？你還能習慣麼？」
菡玉正埋頭箱，聞言也站起身來，拍了拍手上灰塵，對明珠笑道：「我本來就是山野之人，有什麼不習慣的。倒是你，自小長於鬧市，如果過不慣山裡清苦的日子……」
明珠忙道：「明珠又不是嬌生慣養的閨秀，再清苦也不會比這一年來的日子更苦罷？少卿到哪裡，我就到哪裡。我只是擔心少卿你……真能放下這裡的一切嗎？」
菡玉別過臉道：「我為官十餘載，毫無積累，所得不過一個虛名罷了，有什麼放不下的？對了，等陛下准了我的辭表，你就不能叫我少卿了，要改口啦。」
明珠低頭不語，轉身進了自己房間，不多時捧出一個匣子來。菡玉往裡一看，只見裡面擺著一黑一白兩盒棋子、幾支禿毛筆、筆洗、鎮紙等物，都是再眼熟不過。她的笑容一下子僵住了，不知該接還是不接。
明珠道：「這些是我從瓦堆裡翻出來的，全是……全是他以前用過的，好多東西都找不著了，棋子也不全……不過好歹也算是個紀念。那天在宣陽坊時怕你太過傷心，所以沒敢立即拿出來。」
菡玉忍淚道：「謝謝你，明珠……」手指撫過那一粒粒猶圓潤晶亮的棋子，神思便飄得遠去了。
明珠瞅了瞅她，低聲問：「少卿，你這一走，也許再也不會回長安來了，要不要……再去看一眼、祭拜一下？」
菡玉抬手拭了拭眼淚，說：「明珠，你倒提醒我了。正好現在天色將晚，家裡先勞煩你收拾，我去去就來。」轉身欲往外走。
明珠追上她拉住她的袖子：「我陪你去。」
菡玉道：「我一個人就可以……」
「有個人在旁邊，許就不會那麼難過了。而且那裡我也比較熟。」
菡玉看了看明珠，淺淺一笑道：「明珠，總是你最會替人著想。」
兩人便相偕同出了崇化坊向西而去。途中路經西市，明珠又去壽材鋪買了些香燭祭品，菡玉則到酒肆沽了一壺水酒帶到宣陽坊。
相府廢墟明珠是熟門熟路，哪裡路上有塊石頭都清清楚楚。天色有些昏暗了，她點起燈籠，把燈給菡玉照著腳下，自己在前頭引路，一邊指給她識得各處。
「少卿，這段迴廊你一定還記得罷？盡頭就是相爺的書房，再過去是你以前住的院子。那邊還有兩段圍牆，正好折角可以擋風，生了火也不容易被人看到，咱們就去哪裡好不好？」
許久不聞菡玉答應，明珠回頭一看，她就站在自己身後不遠處，雙目直直盯著前方，渾似沒有聽到明珠的問話。明珠以為她又想到了以前的事，便沒有言語，只見菡玉面色恍惚地往前跨出一步，手裡燈籠滑落下去，燈內蠟燭引著了燈罩。明珠連忙去撿，一邊喊：「少卿，小心燭火！」還沒說完，菡玉就扔了燈籠，急匆匆地往前疾步而去。
明珠連踩幾腳將火撲滅，急忙趕過去追她，早不見了菡玉蹤影。幸虧明珠熟悉地形，幾乎到處轉了個遍，終於在花園裡看到菡玉正站在乾涸的池塘中央，茫然四處觀望。明珠跑得氣喘吁吁，追上去拉住她問：「少卿，你在找什麼？」
菡玉顯得有些心神不寧：「我剛剛聽到草叢裡有響聲，還以為有人藏在附近，追了一圈才知道是幾隻野貓。」
「這裡哪還會有別人。」明珠翻了翻手裡的籃子，香燭都折斷了，只有那壺酒口封得嚴沒有灑，不由皺起眉頭，「這下可好，兩市肯定也都打烊了。」
菡玉全沒了拜祭的心思，說：「時候不早了，再不回去坊門該關了。」一個人徑直悶著頭往大門口走去。明珠心下疑惑，也不好多問，快步跟上她。
半路上就聽到敲起宵禁鼓聲，回到崇化坊門前時坊正已鎖了柵欄，二人被關在門外。明珠上前一看，正好坊內有一人向外而來，白衣素影，不知給坊正看了個什麼令符，坊正破例開了門，放她倆進去了。
明珠對他行了一禮：「多謝山人。」抬起頭來，現李泌已經越過她去，抓著菡玉的手問：「玉兒，你去哪裡了，怎麼這麼晚才回來？」
菡玉支吾其詞，明珠代她答道：「少卿剛剛去西市沽酒，西市店舖都已打烊，只好去了東市，因此晚了。」拿出那壺酒給他看。
李泌又問：「你怎麼要到要喝酒？」
這回菡玉答道：「明日大哥就要離京了，正好為大哥餞行。」
李泌笑道：「你我一同走，還餞什麼行。」
菡玉滿腹心事，低頭不語。三人回到寓所，菡玉方說：「大哥，我恐怕不能和你一起回去了。」
明珠正要下廚，聽到這話也停住腳步。李泌問：「你又改變主意了？」
菡玉道：「那倒不是。我還有一樁心願未了，想辦完了再回去。」
李泌蹙眉看著她。菡玉道：「聽說陛下遣韋少師入蜀奉迎上皇還京，也是明日出。我想去請示陛下，可否容我同往迎接。等上皇安然回宮，我就回衡山。」
今上在馬嵬動兵變殺宰相貴妃，又未得上皇傳位便自行登基，之前戰事緊急，上皇遠在巴蜀，還可相安無事。等上皇回了京城，這一對天家父子的關係就很微妙了。菡玉對皇帝素有成見，擔心他會對上皇不利，李泌也都心知肚明。
菡玉又道：「大哥如果不放心，就在京城再留些時日，等我回來了一起走。」
李泌道：「只要你自己拿定了主意就好，我還是先行回山罷。」
一旁明珠接口道：「少卿，我跟你一起去。」
菡玉道：「明珠，蜀道難行，你一個姑娘家不必多受這顛沛之苦。再說奉迎上皇又不是出去遊玩，攜帶女眷多有不便。一來一回少則月餘，多則兩月，很快我就去找你們了。」
明珠看了看李泌，似有些不樂意，但也沒再說什麼，轉身下廚去了。
菡玉對李泌道：「大哥，這一兩個月間明珠就全賴你照顧了。」
李泌點了點頭：「放心罷。韋少師明日一早就要動身，你現在起意，可還來得及？」
菡玉道：「說來慚愧，這事還要拜託大哥。」
李泌道：「我正要應陛下之召入宮夜談，順道過來看看你的。你且在家等著我的消息。」說罷站起身來。
菡玉送他到門口，二人默然相對片刻，李泌道：「玉兒，我不在你身邊，你萬事自己小心，迎回上皇就立刻回衡山來，我等著你。」
菡玉笑道：「大哥你也保重。」
她站在門邊目送他出了坊門，坊正重又上了鎖，才覺得渾身力氣都被抽光了似的，不得不倚著門框才能站住。握緊的手心裡早就出了汗，滑膩膩的幾乎握不住那光潤的玉珮。她攤開手掌，朽爛的線頭都被她捏碎，與汗水混和成一片污黑。但那穿孔裡還穿了一根完好的黑線，像是從布匹中拽出來的絲縷，末端胡亂打了個結，就靠它將那塊玉掛在九曲迴廊簷下，掛在她必經的路旁，讓她一抬頭就能看見，讓她無論如何也不要再錯過。