唐肅宗當太子的時候，有個好朋友叫李泌，李泌原是長安人，小時候很聰明，讀了不少書。當時的宰相張九齡看到他寫的詩文，十分器重他，稱讚他是個「神童」。肅宗當太子的時候，李泌向玄宗上了奏章，對國家大事提了一些意見。唐玄宗看了很欣賞，想給他一個官職。他推說自己年輕，不願做官。玄宗就要他和太子交個朋友。太子特別喜歡接近李泌，把他當作老師看待。
後來，李泌看到政局混亂，不願呆在朝廷，索性跑到穎陽隱居起來了。
唐肅宗剛即位，臨時建立的朝廷，什麼都亂糟糟的，特別需要有人輔佐，這時候，他想起李泌，就派人把李泌接到靈武來。李泌想到朝廷正遭到困難，就離開穎陽到了靈武。李泌到靈武後，唐肅宗跟他就像年輕時候一樣，進進出出，都在一起，大小事情，全都跟他商量。李泌有什麼主意，唐肅宗沒有不聽從他的。
後來，唐軍在李泌的幫助下，收復了長安和洛陽，唐肅宗覺得心滿意足，用駿馬把李泌接到長安。唐肅宗的寵妃張良娣和宦官李輔國，嫌李泌權大，互相勾結，想把李泌除掉。太子李俶發現張良娣他們想害李泌，就告訴了李泌。李泌見唐軍收復兩京，決心離開朝廷。
一天，李泌去皇上那請辭，唐肅宗不願讓李泌離開，李泌一再請求，他懇切地說：「我和陛下結交太早；陛下太重用我，信任我。就是因為這些緣故，我不能不走。」唐肅宗只好同意。
李泌到了衡山（在今湖南省），在山上造個屋子，重新過他的隱居生活。