1936年1月，毛澤東決定遣軍東進，打到山西去，武裝宣傳抗日救亡綱領。彭德懷有些擔心，一怕紅軍渡不過黃河，二怕東渡黃河後在國民黨軍阻截下回不了陝北。因此，他打電報向毛澤東提出，要絕對保證部隊同陝北根據地的聯繫。對此，毛澤東滿臉不高興，他見到彭德懷後氣沖沖地說：「你去絕對保證，我是不能絕對保證的。」
話雖是這麼說，在背後，毛澤東還是囑咐林彪到黃河邊去勘測水文，調查敵情，制定渡河計劃。
黃河以東是山西「土皇帝」閻錫山的天下。閻錫山把山西視作自家花園，連外境的一隻野兔也不願放進。為此，他和蔣介石、馮玉祥等人曾經大打出手，屍橫遍野。到最後，連蔣介石也奈何不得這位「閻老西」。1935年冬，他一聽說紅軍到了陝北，就沿黃河東岸十多個縣構築了明碉暗堡，普遍實行閭甲、連坐制度，發誓不讓紅軍將半步跨過黃河。
東征前，林彪來到黃河西岸，對東岸敵人的工事設施、兵力配備、火力配置進行了觀察，選定了紅一軍團和紅十五軍團的渡河點。
1936年的春天來得特別早。才2月份，黃河就已開始解凍，白天黑夜，沿河上下，到處可以聽見「咯吱」「咯吱」的冰塊崩裂聲。鑒於這一情況，林彪建議渡河方式由冰上搶渡改為船渡。
2月19日，毛澤東來到紅一軍團前線指揮部。正遇上林彪、聶榮臻、左權在爭論誰的手錶時間准。在紅軍中，每次總攻之前，部隊常常為時間準確與否扯皮拉筋，有時上級批評下級延誤了時間，下級不服，說按照我們的表還提前了哩。這是因為當時紅軍指揮員戴的手錶都是在戰場上繳獲過來的敵人的手錶。式樣各異，新舊不一，快慢不同。見大家又為這個簡單的老問題爭個不休，毛澤東說：「給各個部隊發報，渡河時間不可參差，一律在20號20時開始，以聶榮臻的表為準。」
紅一軍團二師五團是渡河左翼先遣隊。先遣隊先將小船由通向黃河的港汊裡悄悄地劃出，推到水深處，然後載人直向黃河對岸劃去。這夜，沒有月亮，沒有星星，只聽見黃河的咆哮和冰塊撞擊木船的聲音。接近對岸的時候，槍聲如炒豆般地響了起來，偷渡變成了強渡。紅軍戰士迅速登岸，投入戰鬥，很快突破了江防，向縱深推進。26日，閻錫山組織晉軍反攻，企圖把紅軍趕回河西。林彪率紅一軍團主動迎敵，擊潰了晉軍獨立第二旅，打了渡河後的第一個大勝仗。
3月下旬，紅軍以十五軍團為左路軍，二十八軍和三十軍為中路軍，紅一軍團和十五軍團八十一師為右路軍，兵分三路，向山西腹部進軍。
紅一軍團作戰區域是汾河流域。當時，晉軍大部被紅十五軍團牽制於北線，無力抽兵南下，只得眼睜睜地看著紅一軍團深入汾河富庶地區。
汾河，是山西的天堂。這裡的地主除擁有大量土地、羊群外，往往宅第連雲，幾乎佔半個村子，幾十匹騾馬，連雜色的都沒有，把從陝北來的紅軍戰士看傻了眼。山西財主喜歡把金銀財寶埋在地下窖起來，紅一軍團的戰士們很快學會了根據敲打地面的聲響來判斷窖藏所在位置的方法。在這裡，紅一軍團擴紅髮展迅速，補充了五千名新戰士。對這一點，林彪特別高興。
一天，毛澤東打電報給林彪，告訴他紅十五軍團在北線作戰艱苦，傷亡過大，加上處於山區，籌款、擴紅等工作開展得不理想，希望紅一軍團能夠撥點兵力給十五軍團。
「我還有幾個鳥兵?!」林彪氣呼呼地把電報摔到桌上，大聲說道：「不給，不給。就說沒有，不給。」
聶榮臻看完電報後，向師團一級的幹部們瞭解了一些情況。下邊的幹部們也反映部隊編制還不健全，人員也不滿額。聶榮臻找林彪商量後，打電報給毛澤東，匯報了自己部隊員額未滿的實際情況，請求免撥。看到政委和他觀點一致，林彪臉色稍緩。
1936年4月，蔣介石派十個師分兩路進軍山西，閻錫山也派五個師另兩個旅南下，以圖南北夾擊，形成包圍之勢。毛澤東鑒於紅軍東渡黃河作戰目的已經達到，遂揮師西進，撤回陝北。
1936年5月，毛澤東在延川縣大相寺主持召開紅一方面軍團以上幹部會議，對紅一軍團的本位主義觀念進行了嚴肅的批評。這主要是指紅一軍團拒絕撥兵補充紅十五軍團的事。頓時，會場上的目光都集中到了林彪和聶榮臻身上。林彪一向以不苟言笑、沉默寡言著稱，這次，他索性一聲不吭，無動於衷地望著寺外的幾株古柏，把問題全推給了他的政委。
作為政委，聶榮臻主動地向大會作了檢討，承擔了責任。這種處理問題的方式，在他們的共事中屢見不鮮。林彪的精明，有時正表現在他的沉默上。
這年夏天，中央軍委頒布命令，林彪調任紅軍大學校長，任命左權代理一軍團軍團長，聶榮臻仍任軍團政委。這一調動，對林彪是獎勵，還是微懲，人們議論紛紛，但大多傾向於後者。人們知道，1934年以來，林彪與毛澤東的分歧之處太多，有必要煞煞他的銳氣。
紅一軍團為他們的軍團長舉行了簡樸而又熱烈和隆重的歡送會。政委聶榮臻在致詞時，繞開了他們之間的爭論和分歧，熱情地讚揚了林彪在紅一軍團工作期間的建樹和功績。
但是，林彪沒有對此表示出應有的大將風度。他仍然對與聶榮臻之間過去發生的不悅耿耿於懷。他對聶榮臻說：「我們在一起搞了幾年，現在要分手了。過去我們之所以發生分歧，是因為我們看問題的著眼點不同。你是從組織上考慮的，我是從政治上考慮的。」
聶榮臻笑了笑，然後嚴肅地說：「你這個說法不對。你把政治上和組織上絕對對立起來，完全不對頭。我們之間爭論的許多問題，都是政治問題。現在你要走了，又扯這些問題，再扯幾天也扯不清楚，還是等以後有機會慢慢談吧。今天我們主要是歡送你，不談那些不愉快的事情。」
不歡而散。軍團長和政委就這樣分手了。第二天，林彪帶著警衛員，離開了紅一軍團，踏上了去紅大的路途。
中國人民抗日紅軍大學(簡稱「紅大」)始建於1936年6月1日，這是毛澤東為即將全面展開的抗日戰爭準備幹部力量而採取的一項戰略措施。按照中央的規定，各軍團從軍團長到連排基層幹部，都必須在紅大進行輪訓，以求充分利用全面抗戰爆發以前的有利時機提高紅軍自身的戰略戰術水平。毛澤東希望紅大能辦成第二個「黃埔軍校」，為此，他挑選黃埔軍校畢業的林彪來擔任紅大校長。林彪也常以「校長」之譽而自勖。
紅大校址最初設在瓦窯堡。1936年6月21日，國民黨第八十六師高雙成部突襲瓦窯堡，紅大即隨中央機關撤出瓦窯堡，遷至保安縣城。
就在這場突襲事件中，林彪有過一個因驚嚇過度而偶爾失態的插曲。這件事是羅瑞卿講的。他的女兒點點在《非凡的年代》一書中，首次披露了這件事：
由於陝北紅軍和地方部隊沒有及時趕到，敵人突然襲擊了瓦窯堡。第二天，父親隨林彪到瓦窯堡的後山去觀察地形，看看我們有沒有收復瓦窯堡的可能。
襲擊瓦窯堡的敵人部隊大部分都是陝北人，是很熟悉地形的，他們隱蔽得很好。父親他們估計到這一點，在接近敵人的時候就很小心地棄馬步行。但是狡猾的敵人還是遠遠地發現了他們的行動。「辟辟啪啪」，一排冷槍打過來，父親大吃一驚。這倒不是因為敵人突然打槍，而是他看見林彪隨著槍聲仆倒在一塊大石頭的後面。他想，糟了，一定是林彪負了傷。他就趕快向林彪靠攏。
他還沒有爬到林彪藏身的地方，忽然又聽見林彪在大聲地喊，那聲音又尖厲又淒涼，完全變了腔，又走了調。細心分辨，才聽出林彪喊的是「校長要馬呀，校長要馬呀……」這時候，父親還以為是林彪真負了傷，走不得路才大喊要馬。
可是，把馬牽過來，目標更大，更危險。父親拉著林彪往回走，幾個警衛員也聞聲趕來架著林彪往回撤。直到林彪爬上馬背，大家才明白他一點傷也有。
紅大進駐保安城地，極目四望，除了荒山野坡，破窯亂洞外，到處是野草亂石，遍地是羊屎馬尿。當地一首民謠這樣唱道：
保安窮山窩，
破洞比房多；
菩薩比人多。
就在這樣艱苦的環境中，林彪帶領他的學員——那些身經百戰、備嘗艱辛的紅軍指揮員們，開始了緊張的學習和生活。
紅大第一期學員全部來自於中央紅軍和十五軍團，絕大多數是經過長征的骨幹。他們分為三個科。最引人注目的是第一科。
第一科有三十八個人，都是紅一方面軍團以上領導。他們在1955年我軍初次授銜時，最低軍銜也是中將，其中比較有名的有羅榮桓、羅瑞卿、譚政、彭雪楓、陳光、楊成武、劉亞樓、張愛萍、蘇振華、黃永勝等人。這是一個名副其實的「將軍科」。據統計，第一科學員平均年齡二十七歲，人平有傷疤三處。如果把蔣介石對這些大名鼎鼎的學員懸賞金數額加在一起，總數竟超過了二百萬銀元之巨。
紅軍大學有許多獨一無二的地方。正是他的特殊魅力，吸引了美國記者埃德加·斯諾。他被毛澤東特許，來紅大採訪林彪。
埃德加·斯諾是進入共產黨、紅軍控制的區域進行採訪的第一個西方新聞記者。斯諾筆下的林彪是個什麼形象呢?
靦腆好羞，擅使計謀詭術以及和毛澤東保持著無以言喻的親密關係。這，就是林彪給斯諾留下的深刻印象。