在羅榮桓的協助下，林彪處變不驚，應亂不慌，在十五天內，硬著頭皮把二十萬聯軍帶過了松花江，撤退到哈爾濱，成功地擺脫了國民黨軍隊的追擊。這十五天，是東北聯軍生死攸關、極為被動的日子。
「打了這麼多年的仗，還從來沒有這樣被動過。我們一個勁兒地撤，敵人一直在屁股後面追，就像拖了個尾巴。」羅榮桓不無憂慮地對林彪說。
林彪信心十足：「被動過後就會主動。過了江就主動了。」
「這仗打輸了。」林彪憤憤地說。作為負責前方指揮的一號首長，林彪感到深深的羞愧與屈辱。他把「白崇禧」和「四平街」幾個字刻進了腦海裡。不久，當林彪得知白崇禧已經功成回南京述職，心中更加氣憤。「恨無時間，遂使豎子成名。」林彪發誓雪恥復仇。
得勝回朝的白崇禧胸中也湧動著遺憾和憤怒。同樣是憤懣不平，內容卻截然相反。二十年後，白崇禧在他的回憶錄中詳細追述了這件終身憾事：
先是中共林彪為共軍東北民主聯軍司令員，統率共軍十萬之眾，於三十五年三月中旬蘇聯紅軍撤出東北時，接收了關東軍軍械五十萬支，接著，乘國軍未開到之前，襲佔四平街，終與國軍相持不下。當時，我奉令至四平街督戰，並速將林部擊退，繼占長春、吉林，本可就此乘勝追至佳木斯和滿州里，將林部殲滅或驅出東北境外，以永絕禍根。而中央忽令軍事歸杜聿明指揮，且軍隊不准越過遼河，理由為長春有六千蘇聯便衣紅軍，若我軍越過遼河，恐引起衝突。當我一到四平，下令繼續追擊時，杜聿明即出此命令予我。我說：「既是我下
令追擊，責任當由我負。」當時我一面去電向當局報告，同時乘飛機返京向蔣先生面陳云：「戰勝則當進，或迫其退出國境，或予以殲滅，蓋共軍已倉皇撤退，全無鬥志矣!」蔣先生道：「據報長春有六千著便衣的蘇聯紅軍，萬一肇事起衝突，怎辦?」我說：「共軍已潰退，多六千紅軍，亦不濟事。」蔣問：「若紅軍再來，如何?」我答曰：「此非我一人之責任，按撤兵規定，紅軍應已撤回，若紅軍再來，此乃聯合國之問題。」委座聽罷，當場不置可否。
翌晨，我搭機將行，蔣先生因重視此事，亦欲同往，遂同乘馬歇爾專機直飛瀋陽轉長春(當時國軍已到長春)。委座一見前方軍事進展順利，極為愉快。當時我即建議繼續追擊，並表示說，若東北剿赤完畢，可以少數部隊駐防，而先抽回五美械裝備師於華北助北平行營剿共，待事畢再行調回。蔣先生說：「6月1日國防部成立，你回去接事。你的意思，我交待杜聿明去做。」我說：「你在東北，我也在此!」他當即說：「你在此，若馬歇爾問你是否繼續追擊，你不好說話。你回去，我在這裡，可以推到我身上，所以你還是回去。」我只得返京就任國防部長。
此後，馬歇爾八上廬山，壓迫政府下停戰命令。杜聿明於哈爾濱停頓攻勢整編部隊，予共軍以喘息與反攻機會，大局遂逐漸於我不利，當時若長驅北進，直下東北，消滅林彪之大患，而後抽兵入關，如此於戡亂或稍可改觀。
兩位鬥志正熾的「常勝將軍」都把遺憾吞進肚中。他們都有一種預感，在已經拉開序幕的戰爭舞台上，他們還有再度交手的時候，也許會由他們來寫最後的結尾。
撤出長春，東北局和聯軍總指揮部(簡稱「東總」)轉移到了哈爾濱市。
哈爾濱，滿語意為「曬網場」。據說古時候是個小漁村，經過創業者的開拓，到20世紀已是繁華非凡，享有「東方小巴黎」之稱。
1946年6月6日，國共兩黨達成東北休戰協議。經過半年多的來往衝突，雙方都需要喘息一陣。
6月16日，中共中央決定加強東北地區黨的領導，以林彪為東北局書記、東北民主聯軍總司令兼政治委員，彭真、羅榮桓、陳雲、高崗為東北局副書記、東北民主聯軍副政治委員。六一六決定賦予林彪東北地區最高指揮者的權力，使他在東北地區的地位和聲望無人可以與之匹敵。
1947年5月，東北民主聯軍發動了「夏季攻勢」。6月初，鐵嶺以北、長春以南，中長路兩側分散孤立的敵人據點已被肅清，四平市已完全孤立。前線部隊指揮員判斷四平守敵只有一萬八千人，建議攻取四平。林彪早有此意，他立即批准了這一建議。6月14日，前線部隊發起總攻，歷時十五天，將四平守軍壓縮至市東北一隅。這時，情報查明，四平守敵實際為三萬四千人，且有空投接濟，彈藥尤足，而瀋陽、長春兩個方向的敵軍共計十個師的兵力已出動增援。聯軍攻擊部隊遂於6月30日撤圍。
又是一次得不償失的進攻。此次戰鬥殲敵一萬七千人，聯軍自己傷亡一萬三千人。對於作戰失利的原因，除情報不明外，從總指揮部的角度來說，主要是決策輕率。雖然在戰鬥發起前，以「林(彪)羅(榮桓)」的名義發出了《四平戰鬥應注意事項》，但實際上有輕敵思想，總部首長也沒有親臨前線指揮。林彪、羅榮桓對此承擔了責任。
1947年9月至11月，林彪又指揮發起了「秋季攻勢」，殲敵六萬九千八百人，攻克城市十五座，擴大解放區面積三萬八千平方公里、人口二百六十萬，又一次打到四平前沿。迫使敵軍龜縮於北自吉林、長春，南至鞍山、營口，東至撫順，西到阜新、錦州這樣一個狹小的區域內。
隨後，林彪挾「秋季攻勢」的餘威，又發動了「冬季攻勢」。在持續九十天的作戰中，東北民主聯軍沿四平至大石橋的中長路和山海關至瀋陽的北寧線展開攻勢，一舉攻克敵軍堅固設防的戰略要地四平和其他十八座中小城市，殲敵十五萬六千人，使敵軍龜縮到長春、瀋陽、錦州這三座孤城中。
在東北戰場上，林彪打敗了蔣介石麾下的所有名將。白山黑水，竟成了這些享譽中外的軍事家身敗名裂的滑鐵盧。
熊式輝，東北行營主任。杜聿明，東北九省保安司令。他們以眾擊寡，以強凌弱，聯手「追剿」林彪。幹了一年多，損兵三十萬，將一度佔領的大城市大部喪失，被撤職查辦。
陳誠，國軍參謀總長，是蔣介石稱讚為最有辦法的智將。接任東北行轅主任後，躊躇滿志，擴充軍隊，調運物資，不斷地開軍事會議，制定了一個又一個周密的軍事計劃，贏得國民黨高級將領的一片喝采。可惜，此公志大才疏，上陣沒有幾個回合，就被東北聯軍打得灰頭灰腦，處處被制，國民黨在東北的地盤被壓縮到長春、瀋陽、錦州及其附近十來個城市，國軍中最為精銳的第五軍被林彪嚼得連骨頭渣都不剩。陳誠自知不是對手，智窮計竭之際不惜裝病請辭。
蔣介石無奈，只好再次走馬換將，祭出了最後一張王牌——衛立煌。與衛立煌同在陸軍大學深造過的符昭騫對同窗好友有一段精采地描述：
衛是蔣集團中最能打仗的一員戰將，遇事不畏難，不怕苦，不討價還價，故取得蔣之歡心和信任。且衛行伍出身，久經戰陣，打起仗來，行動敏捷，猶如生龍活虎。許多人認為他是老粗，不學無術，看不起他，也有許多人譽之為曾國藩部下的鮑超。
蔣介石把挽救東北的希望寄托在衛立煌的身上，有三點理由：一、論資歷和聲望，衛立煌能夠充當獨當一面的封疆大吏。二、論人事關係，像杜聿明、鄭洞國、范漢傑、廖耀湘這些人或者是衛立煌在遠征軍中統率過的，或者是他的老部下，他都能統馭得了。三、論才能，衛立煌具有罕見的軍事天才和組織能力，抗戰期間他率領中國遠征軍轉戰緬甸，取得空前大捷，獲得中外軍界一致好評。
衛立煌精明過人，懾於林彪的威名，他違反了從來不討價的習慣，拒絕掛帥。蔣介石叫張群來勸駕。張群素以能辯著稱，鼓起如簧之舌，說得唇焦口乾，也無濟於事。蔣介石又令顧祝同當說客。顧祝同是衛立煌最熟悉的朋友，私交甚好。他談了半日，也沒勸成。最後，陳誠的老婆譚祥也來了，裝出一副可憐的樣子，說：「辭修(陳誠字辭修)病得沒法，只有請衛先生去東北才有辦法。衛先生答應去東北，就是救了我們一家。」衛夫人韓權華送走譚祥後，忍不住大發感慨：「救了他們一家，不是坑了我們一家?有權有利的事你們就爭，弄得不可收拾了，就把爛攤子交給別人，叫別人去當替死鬼，這是什麼心思?」
蔣介石只好再度出馬，一開口就給衛立煌大戴高帽子：「東北是一個比西歐還要大的地方，那裡的重工業佔全中國一半以上，是我們民族復興的生命線，得失影響國際視聽和全國的人心，沒有得力的人才是鎮守不住的。過去幾十年，有幾次靠你挽救了危險的局面，我都記得清清楚楚。在這個緊要的關頭，我把東北黨政軍各方面的全部職權都交給你，希望你能挑起這個艱巨的重任。」
衛立煌聽了這些話不吭聲。蔣介石又打氣：「我看你用不著顧慮，你一定能夠把這個事辦好。萬一戰局失利，責任也不由你來負。有什麼困難，你就提出來。」
聽了這番話，衛立煌被感動了，猶猶豫豫地說：「沒有軍隊不能打仗，現在在東北的軍隊都圍困了，沒有大量的增援是不行的。」
「這個好辦。」蔣介石說：「我先給你增援五個軍好不好?在後勤方面，優先補給東北方面。」
衛立煌不好再說什麼，答應道：「那麼，我先去看看。」
聽說衛立煌應允擔任東北剿總司令，韓權華惱怒萬分，大吵一頓，嚷道：「你為什麼這樣亂來，戴上這頂烏紗帽?你有什麼把握，打得贏林彪?東北快完了，你的部下都不贊成你去，連我這個沒有軍事頭腦的人也能看到沒有希望了，你為什麼偏偏在這個時候去替陳誠當替死鬼?」
衛立煌把林彪稱為「靈狐」，深知林彪是個戰術大師，精諳聲東擊西、圍點打援之術，於是決定採取按兵不動的戰略原則，對一些外圍據點被吃掉很少去救援，成天忙於整補訓練、修築工事之類的事。