當吳佩孚和張作霖聯合起來對付馮玉祥的國民軍時，馮玉祥宣布下野，並且自我放逐，前往蘇俄考察。他於民國15年5月赴莫斯科，在莫斯科和列寧格勒前後耽擱了三個月。在這三個月中，國內局勢大變，他的嫡系部隊苦戰南口，另一部分往包頭撤退，在南口的軍隊雖然打得很激烈，可是損失也很慘重，南口失陷後就潰不成軍，在包頭的石友三、韓占元、韓德元等部，則投靠閻錫山。此外則是國民革命軍北伐的好消息。
15年8月17日馮玉祥由莫斯科啟程回國，經西伯利亞鐵路到達上烏金斯克，然後換乘汽車赴庫倫。他這次回國是要參加國民黨和國民革命軍，在庫倫開始學習國民黨的開會儀式，同時准備汽車糧秣。9月10日由庫倫動身，前往包頭，在路上碰到潰退的國民軍將領，又遇見了於右任，於當時也打算取道庫倫往海參崴，再繞海道去廣東，於、馮晤面後大家很高興，就集合在一塊去包頭。從庫倫到包頭要經過內蒙的邊界和綏遠，平沙漠漠，一望無際，偶不小心就會走錯了路。在途中馮獲知他的舊部佟麟閣、孫連仲、劉汝明等都率部開往甘肅，已過五原，張之江和鹿鍾麟則在五原扎營，於是馮等一行決定先赴五原。經過陰山山脈和戈壁沙漠，遇上了宋哲元，9月15日鹿鍾麟趕來相迎，當天下午到達五原，西北的敗軍大批集合在此，除了國民一軍外，還有三軍的孫岳，五軍的方振武和六軍的弓富魁。
五原是一個空落落的土園子，人煙稀疏，荒涼冷落得趕不上內地一個較大的鄉鎮。大家劫後重逢，恍若再世，當時一致推舉馮就任國民軍聯軍總司令。
15年9月17日馮玉祥就職誓師，於右任以國民黨中央執行委員會常務委員的資格為授旗的黨代表，他在就職宣言中說：
“……現在我所努力的，是遵奉孫中山先生的遺囑，進行國民革命，實行三民主義。所有國民黨一、二兩次全國代表大會宣言與議決案全部接受，並促其實現。……至於政治主張，我既是一個國民黨黨員，是國民政府委員之一，一切由國民黨決定，國民政府主持，我唯有與諸同志集合全體的力量履行就是了。”
這天於右任頭發蓬亂，胡須黑多白少，長及腹部，戴著一頂半舊的黑色學生帽，上穿夾襖，下穿棉褲，外罩一件黑色皮大衣，腳上玄色魚頭布鞋，白布襪子已成灰色。與會官兵服裝都是五顏六色，破鞋破帽，領章肩章全沒有，有的戴奉軍皮帽，有的戴直軍布帽，七零八落，非常襤褸。
馮玉祥在五原組軍，以鹿鍾麟為參謀長，何其鞏為秘書長，李興中為參謀處長，陳連富為副官處長，徐庭瑤為軍務處長，宋式顏為軍械處長，過之翰為軍需處長，張吉墉為軍法處長，張允榮為內防處長，薛篤弼為財政委員會委員長，石敬亭為政治部長，烏斯馬諾夫（蘇俄人，隨馮自俄來華）為顧問。
國民軍舊部自馮在五原就任總司令後，即紛紛來歸，張之江由寧夏來五原，石友三亦由包頭趕來，當時包頭是閻錫山的勢力范圍，可是部隊全是國民軍，所以馮即偕石友三去包頭。
於右任已完成了把馮玉祥的國民軍納入革命軍系統內，就由五原前往陝西。孫岳在五原病重，因為過去幾個月作戰辛苦，更加重了他的病勢。他的部隊改歸徐永昌指揮，後來徐永昌率舊國民三軍由陝北入山西，駐峪道河。國民二軍自在天津戰敗後，大部退洛陽，岳維峻被俘至山西太原，其殘部由李虎臣率領進兵西安，和國民三軍的楊虎成等部會合。這時陝西境內有各派系的軍隊，劉鎮華奉吳佩孚命進潼關夾攻西安，井岳秀駐榆林坐觀成敗，吳新田亦奉吳佩孚命以漢口為根據地。李虎臣、楊虎臣在西安城內被劉鎮華所部4萬人圍困達七八個月，馮玉祥組軍後即決定取道甘肅分十路援陝，以解西安之圍。
甘肅駐軍也非常龐雜，有的受張作霖命令，有的由吳佩孚委任。吳佩孚委張兆甲為甘肅督軍，張兆甲據隴東，又委孔繁錦為甘肅省長，孔據隴南，兩股力量聯合，一自隴東，一自隴南向蘭州挺進。蘭州在劉郁芬手中，劉郁芬是國民軍的師長，由馮委為甘肅督軍，下轄兩旅，一個旅長是孫良誠，一個旅長是張維璽。蘭州附近防御陣地相當堅固，孫良誠又驍勇善戰，因此不僅擊潰了來攻的部隊，並且乘勝進兵陝西，解了西安之圍，從蘭州到西安是一場艱苦的長距離行軍，孫良誠苦戰數月，居功最偉。
西安解圍後，15年12月上旬馮軍攻破潼關，劉鎮華率部東退，劉部鎮嵩軍且有一部為馮軍內應，劉乃退陝州。
潼關之戰的變化是由於華陰廟一戰（華陰廟在潼關西40裡），是役劉軍損失極重。舊屬劉鎮華的陝軍麻振武部亦自渭北渡河，加入攻劉。劉軍大半繳械，紛紛東奔。
16年1月上旬馮軍進駐西安，以石敬亭為陝西省主席。石字筱山，山東利津人，出身第一混成協學兵，滿清時曾考秀才，寫作俱佳。馮玉祥對石極為贊許，稱石為人肝膽義氣，勤勉惕勵，對主官真心真意，處同僚上下和睦，言動有則，事事都有計劃。
16年5月1日，國民政府任命馮玉祥為國民革命軍第二集團軍總司令，馮即在西安宣誓就職，誓詞雲：
“謹奉國民政府命令，於十六年五月一日勞動節，在西安率全體革命將士，以為大多數被迫民眾謀最大幸福之決心，聯合革命民眾，將全力獻給於黨，擁護黨之主義及政策，與國際帝國主義者及國內一切反革命勢力作最後之決斗，完成國民革命，懸此目的，生死赴之，謹宣誓於青天白日旗幟之下。”
5月6日馮玉祥移駐潼關，率領第二集團軍准備會師潼關收復洛陽，其戰斗編制為：
第二集團軍總司令馮玉祥
中央軍總司令馮玉祥（兼）
右路軍總司令孫連仲
左路軍總司令徐永昌
南路軍總司令岳維峻
北路軍總司令宋哲元
5月26日攻下洛陽，奉軍軍長萬福麟乘火車頭東逃。馮玉祥令孫良誠率軍沿隴海線向鄭州東進。以第五路軍由洛陽經孟津、偃師向鄭州進攻，27日攻占孟津，28日越過偃師，30日克復孝義。騎兵集團則出鞏縣向汜水、鄭州方面追擊。第一路軍亦由登封小道抄襲密縣。鄭州處於腹背受敵之勢，因此北洋軍分東北兩路潰退，30日晚占領鄭州，6月1日占領開封。
6月4日京漢路革命軍抵鄭州。譚延-、汪兆銘、徐謙、孫科、顧孟余、唐生智均連袂抵鄭，即派代表至潼關迎接馮玉祥，馮於6日抵鄭州，12日開黨政軍聯席會議，決議劃定新戰區，隴海路以北，平漢路以東歸馮玉祥負責，唐生智所部則撤回武漢整補。馮部各路軍均改編為軍，軍之上為方面軍，編制如下：
西北軍總司令馮玉祥
第一方面軍總指揮孫良誠
第二方面軍總指揮靳雲鶚
第三方面軍總指揮方振武
第四方面軍總指揮宋哲元
第五方面軍總指揮岳維峻
第六方面軍總指揮石敬亭
第七方面軍總指揮劉郁芬
第八方面軍總指揮劉鎮華
靳雲鶚本是吳佩孚的嫡系，因為反對吳聯奉而被吳免職，後來又因奉軍對靳攻擊而窮無所歸，馮玉祥軍出潼關後，靳乃投奔馮。
這時革命軍已次第克復蚌埠、徐州。蔣中正於6月中移節徐州，特召集李宗仁、白崇禧、王天培諸將領開軍事會議，電邀馮玉祥參加。19日馮應召抵徐，蔣中正率李宗仁、白崇禧等重要將領，親迎馮於九裡山西麓車站。20日中央委員胡漢民、吳敬恆、李煜瀛、李烈鈞、張人傑等亦自南京來徐州，晚間即在徐州花園飯店宴馮。蔣中正即席發言說：“此次南北軍事領袖把臂言歡，商洽黨國大計，意義極為重大，真是革命史上最重要的一頁”。馮說：“軍閥對我輩稱為南赤、北赤，今天兩赤見面，就是為了救中國”。吳敬恆說：“我們的赤，是赤裸裸的三民主義，純潔無瑕，不含渣滓，以總理的三民主義救中國。”席散後，由李烈鈞居間溝通蔣、馮的意見，李烈鈞與馮有舊，所以奔走其間。此時正值寧漢分裂時期，蔣希望馮玉祥出兵沿京漢路直下武漢，渡江北伐的革命軍則返歸南京，溯江西上。馮玉祥認為革命軍當面的奉軍、直魯聯軍是真正敵人，宜先以全力將之撲滅。武漢方面是自家人，小有意見，何必認真，更不必以兵戎相見，徒給敵人造機會。他反對對武漢用兵。
李烈鈞、李煜瀛和吳敬恆等中委從中反復奔走，舌蔽唇焦，磋商兩日，毫無結果。馮以閱兵為詞，不辭而別，徑返開封。徐州會議無疾而終。
蔣中正面對這個形勢，只好先以一部分兵力防守長江上游，利用馮玉祥對奉軍和直魯聯軍的同仇敵愾，決定先用兵魯南，予北洋軍閥重創後，再回師西征。故以第一路軍的一部，第二路軍的全部及第三路軍的主力分別掃蕩魯南的日照、臨沂、台兒莊、臨城。
張宗昌因為山東是他的根據地，所以拼死抵抗，又因知道革命軍內部有困難，遂守臨沂以牽制革命軍，革命軍圍城將近30日，最後在無結果情況下被迫後撤。
河南方面靳雲鶚投靠馮玉祥後，16年9月初馮、靳反目，馮乃免靳第二方面軍總指揮職，馮玉祥的魚電如下：
“靳總指揮薦青同志鑒：第二方面軍總指揮靳雲鶚違抗命令，貽誤戎機，蓄謀反動，逆跡昭彰，若再曲予包容，必將貽禍黨國。靳雲鶚著免去本兼各職。其第二方面軍總指揮一職，著由軍長馬吉第升充，並令秦軍長德純為副總指揮。該員自此免職以後應閉門思過，力改前非，仍當念其前勞，隨時錄用，幸勿怙過不悛，終身莫補，致負本總司令曲予衿全之意，是所厚望焉！此令。”
馬吉第和秦德純都是靳雲鶚所屬軍長，馮免了靳職，用他下面的人遞補，很是辣手。靳於9月7日發表陽電雲：
“各報館鈞鑒：頃奉馮總司令魚電，等因，並據馬軍長吉第陽電稱，馮軍兵力約有步兵兩師，騎兵兩旅，炮兵兩團，於今早在長葛和尚橋兩處與職軍所部開火，現正在激戰中。李軍長鎮亞歌電稱，馮軍韓復渠率三師兵力約兩萬人，突至登封臨汝附近，我軍眾寡不敵，退入城內，現該城已四面被圍，音信不通。並探得有向禹州進攻之勢，各等情，雲鶚當復馮總司令一虞電，其文曰：鄭州馮總司令勳鑒，魚電祗悉，查此次駐軍京漢，不即東進，系遵國民政府迭次秘令，防止我公異圖，鞏固黨國根本，中經我公數番督令，均皆電呈政府，請賜明示。嗣奉明令改令雲鶚為中央直轄第八方面軍總指揮，雲鶚因與公同隸革命旗幟之下，且又患難與共，遲不就職，無非為保固革命戰線，仍惟我公馬首是瞻。此心此志，天日共鑒，委曲求全，已無遺憾。不圖誠信未孚，深文周內，置辯無從，友愛難期。我公顛沛流離，造成今日之地位，果具大勇最後之覺悟，雲鶚仍本初衷，不為已甚。惟希慎處，並盼教益，毋任翹禱等語。謹電奉聞，佇候明教。靳雲鶚叩。陽申。（九月七日電由漢口發）”
唐生智則為靳雲鶚發出聲援電報雲：
“生智於元日自皖回鄂，江漢安堵。方幸漢寧同志合作，擁護中央遷寧，黨內一切糾紛，悉由第四次全體會議解決，凡我同袍，必能及時整軍，一致北伐。不圖東南之擾攘方息，而河洛之風雲復起。迭據各方報告，第二集團軍與中央直轄第八方面軍，偶因誤會，遽起沖突，同室操戈，良深悲憫。煥章同志年來為黨奮斗，孤軍萬裡，今年會師汴鄭，收復河北，險阻艱難，備嘗之矣。薦青同志去歲反吳，今年討奉，堅苦卓絕。再接再厲，不為威屈，不為利誘，此皆忠實同志，黨國干城。奉張未滅，吾儕武裝黨員，允宜捐除成見，意氣縱未易平，患難耍當與共。忍因小嫌而亂大謀，敢垂涕以相勸諫。並請各方同志共任排解，振導祥和，團結本黨武力，完成國民革命，打倒帝國主義工具之張作霖政府，建設三民主義的新中國，掬誠奉達，敬乞垂察。唐生智叩。刪。”
馮玉祥決心整肅靳雲鶚，9月5日集結所部兵力暗中部署，7日命孫良誠由北南攻，11日占偃城克漯河，靳雲鶚出奔上蔡、項城。孫連仲部擔任由南北攻，兩面夾擊，靳雖奮戰，但力不能支，帶領少數衛士逃赴皖北，然後跑到上海。
民國16年秋冬之際是革命軍北伐的中挫。當張宗昌攻下臨城、徐州後，革命軍向南轉進，馮玉祥的西北軍亦退守歸德。隴海路東段革命軍之聯絡遂被截斷。孫傳芳率軍渡江南侵時，直魯聯軍亦向河南馮玉祥部、山西閻錫山部進攻。
隴海鐵路橫貫中國大陸，沿黃河南岸蜿蜒而東，連貫津浦、京漢兩條鐵路，橫穿西北高原和淮海平原，尤以洛陽至徐州一段橫斷中原戰場，為兵家所必爭。
16年10月上旬，褚玉璞指揮第四軍方永昌部，第五軍王棟部，第六軍徐源泉部及袁家驥軍兵力共約10萬余人，10月10日越過楊集進攻馮玉祥軍。
同一時期，馮玉祥則將其所部分為三路部署：
第一路由鹿鍾麟指揮龐炳勳的第廿軍，楊虎臣的第十軍，呂秀文的第廿一軍，及王鴻恩師、蕭之楚師、王鈺-師、常好仁師，兵力共5萬人，由馬牧集經碭山向徐州進攻。
第二路由劉鎮華指揮所部第八方面軍全部兵力約8萬余人由考城向濟寧進攻。
第三路由孫連仲指揮所部第十四軍及梁壽愷、秦德純、韓德元等部第廿三軍，兵力共4萬余人，由大名向德州進攻。
總預備隊是第六軍韓復渠部，第三軍孫良誠部，第五軍石友三部，第四軍馬鴻逵部，及鄭大章的騎兵軍，共約9萬人，集結開封、鄭州附近。
10月9日馮玉祥軍各路部隊集中完畢，開始前進。馮部雖有三路大軍，但第二路軍劉鎮華部因分子復雜，多所牽制，未能如期進展；第三路軍孫連仲部亦因受到牽制，行動不便，不能孤軍遠出。10月10日鹿鍾麟在馬牧集以東沿隴海路兩側與褚玉璞軍開戰。褚軍10萬人，第一線兵力即達5萬，眾寡懸殊，鹿軍敗北，褚軍乘勝追擊，來勢甚猛。馮玉祥綜合各方情況，認為褚軍主力使用於黃河以南，在黃河以北僅為助攻，乃決定以最小限度兵力拒止黃河北岸褚軍，而集中主力於黃河南岸。以一部主力在蘭封附近迎擊褚軍，而控置強大預備隊於開封附近。10月19日褚軍鐵甲車已抵內黃，馮玉祥乃於當晚放棄蘭封，誘敵深入，選定杜良集至杞縣構築陣地。10月26日起自黃河南岸至杞縣間戰況極為劇烈，30日馮軍改守為攻，一舉擊潰進攻之褚軍，11月1日克復蘭封。2日占領柳河、李壩集、內黃。3日收復考城，6日越馬牧集以東，鄭大章軍則到達碭山以西。馮玉祥考慮各種情況，認為不宜孤軍深入，乃決定放棄所得各地，撤回蘭封附近以待敵軍深入而聚殲之。
馮軍撤回蘭封附近，以第三、四兩軍集結蘭封以東，左翼依托黃河；以第五軍集結於杞縣東北的柿園集附近；以鹿鍾麟軍一小部分留守歸德，余向太康、杞縣集結；以第六軍控制鄭州，其中一師開赴黃河北岸；以劉鎮華集結考城附近；以鄭大章騎兵軍在太康附近掩護右翼側背之安全；令第二軍迅速由陝西、大荔東開至開封集結。
褚玉璞的敗兵退至夏邑、單縣、城武一帶甫告立足，正擬據守整頓，同時從濟南各處調集援軍十八輛列車，忽見馮軍於大勝之余突然撤退，極為驚訝，揣測必是馮軍後方發生了問題，因此調集新銳部隊十二三萬人分三路進犯。由褚玉璞自為前敵總司令，指揮各軍分三路進攻河南，以第六軍徐源泉、第七軍許琨、第五軍王棟、第四軍方永昌等部兵力為中路，由徐源泉為指揮官，沿隴海路線西進；以第十三軍劉志陸，第八軍柴雲升等部兵力為右路，由劉志陸為指揮官，自城武、單縣進窺考城，以撲開封；以第二軍張敬堯、第卅軍毛思議等部兵力為左路，由張敬堯為司令官，自夏邑經商邱、寧陵、睢縣向杞縣、太康前進。
褚軍展開攻勢後，11月16日攻陷考城。這時津浦路方面何應欽已攻克蚌埠、固鎮。因此津浦、隴海兩路軍事行動已逐漸可以呼應，馮玉祥乃轉守為攻，以鹿鍾麟迎擊睢縣褚軍為右路；以韓復矩進駐蘭封附近，迎擊隴海路正面為中路；以孫良誠與劉鎮華部協同攻擊考城為左路，以鄭大章的騎軍自右翼迂回攻擊褚軍側背。
左路孫良誠於11月24日出動猛攻，大獲全勝，三天內殲滅褚軍2萬余人，-軍長潘鴻鈞，俘獲旅長以上四人，虜槍械1萬多枝，乘勝進攻單縣、菏澤，至17年1月29日克曹縣，俘官兵3000人，擊弊軍長姜明玉。
中路韓復矩亦於11月24日行動，在柳河、李壩集、柳河集與褚軍大戰，韓復矩率衛隊2000余名親自督戰，戰況激烈異常，大破褚軍，12月1日抵達碭山附近。
右路軍鹿鍾麟所部正面的敵人為張敬堯、袁家驥等部，曾經一敗再敗，士氣不振，11月23日鹿鍾麟部自杞縣前進，即攻入蓼堤嶺、馬頭集，24日攻入榆廂鋪，26日占領睢縣，乘勝長驅，27日占領歸德，12月1日占領虞城。
豫北方面10月中旬直魯軍孫殿英、袁振青等部3萬人犯彰德攻陷湯陰、臨彰，馮部孫連仲急調軍增援，10月20日擊敗孫殿英軍，解彰德之圍。因蘭封方面戰事告急，韓德元、馮治安兩師南調，孫殿英由內黃、長垣進犯，11月4日占領衛輝，7日彰德、淇縣、湯陰再度陷落、馮玉祥乃決定在豫北取守勢。
當馮玉祥的西北軍於蘭封附近兩次會戰，擊潰褚軍時，也正是津浦路的革命軍在蚌埠附近擊破孫傳芳，攻克蚌埠和固鎮，正向北面推進之時。於是馮玉祥決心繼續東進，會攻徐州，俾津浦、隴海兩面戰線得以連成一氣。
韓復矩部12月1日占領碭山，2日進占黃口，直魯聯軍的潰兵正在徐州九裡山一帶整頓，鄭大章的騎兵軍突自右翼繞出，進占徐州城西臥牛山，直魯聯軍四散潰走，韓復矩部第六軍即於12月3日向徐州挺進，占領隴海路徐州車站，並截斷津浦路，圍攻徐州城垣。
北洋軍的巨頭張宗昌、孫傳芳、褚玉璞及其他多數高級將領均在徐州圍城內，忽見馮軍突然而至，乃一面負隅死守，一面飛調徐州以南及以東軍隊與在濟南的後方部隊星夜赴援。而馮軍久戰俱疲，未能發揮最大一擊，迨北洋軍大量增援後，徐州附近的據點均告放棄，馮玉祥亦下令所部後撤，扼守李莊、黃口以待津浦路革命軍進展，會攻徐州。
馮軍後撤時，褚玉璞即指揮徐源泉等部3萬余人跟蹤追擊。12月9日津浦路何應欽部已進至曹村，何即電約馮軍於14日合攻徐州，馮玉祥因當面敵軍主力集結鐵道以北，為了便於前進包圍徐州，乃調整攻擊部署。先將正面的褚玉璞3萬余人擊破，隨即以主力東進。何應欽方面原定14日發動總攻，不料北洋軍先於13日反攻，幸被何應欽發覺，提前出擊，大破北洋軍，15日進占徐州附近各山地，馮軍復自其側背加以威脅，北洋軍勢遂不支，向魯境潰退，12月16日革命軍再度克復徐州。
在這場戰役中，馮玉祥軍的謀略頗為成功，當馮軍在蘭封第一次會戰勝利後長驅東進，本可一鼓進出徐州附近，但因為左側暴露，又和津浦線的革命軍未及取得連絡，且當時北洋軍力量尚強，馮乃斷然西撤，再把敵方主力吸引到徐州以西，在隴海線上施行第二度的後退殲滅戰，同時讓津浦路北伐大軍進展容易，褚玉璞是個老粗，見到馮軍後撤，立即追趕，結果在蘭封遭受到第二次的覆敗。
可是馮軍也有弱點，當蘭封第二次會戰勝利後，應該乘勝追擊，一擊進迫徐州，這時張宗昌、孫傳芳、褚玉璞均在徐州，如果對徐州堅陣封鎖，圍而不擊，待何應欽大軍到達後再統一部署，協力進攻，則不僅徐州旦夕可下，張宗昌、孫傳芳、褚玉璞等都可能一網打盡。可惜馮軍久戰，疲愈不堪，攻抵徐州時，既無攻擊計劃，又缺乏充分兵力，因此對方南北兩面大軍增援後，即告不支而退，迨何應欽大軍馳援，徐州雖克，可是張宗昌等均已先逃，未能一網打盡。
北洋軍閥的失敗因素很多，其中之一是互相通報多不真實，互相欺蒙，所有真實情況亦不相告，以致聯絡等於虛設。