吳佩孚自從15年9月6日失漢陽，先退孝感，再退廣水，三退信陽，吳本意擬自信陽調援反攻，無奈軍心渙散，已無可靠之部屬。身邊戰將只有田維勤擔任信陽州以南的防務，至於靳雲鶚則自漢口返豫，即入雞公山，其不滿意吳，已達極點。吳在北方雖然尚有可調之兵，可是沒有車輛調配，只好徒步南下，因此自鄭州以南迄信陽武勝關，各站都有駐兵，派別複雜，不一定完全聽吳的指揮。這時河南全境有槍的兵不下三四十萬，名義上歸吳指揮的，超過10餘萬，兵心厭戰，而軍糧餉秣亦艱困萬分。
靳雲鶚駐軍雞公山，儼然以河南最高軍事首長自居，他曾下令，凡通過他的防區的雜牌軍隊，一律予以繳械，他的親信黃殿臣奉命執行。9月16日黃部遇上吳佩孚的衛隊經過，也不分清紅皂白予以繳械，吳佩孚聞訊大怒，勒令捕黃槍決。當晚信陽附近發生兵變，吳倉皇自信陽搭乘三等火車奔鄭州。
9月27日息隱保定的曹錕，乘專車赴鄭州，曹錕自馮玉祥倒戈遭受幽禁後，直至奉直聯合趕走西北國民軍始恢復自由，雖然他的把兄弟吳佩孚已東山再起，他則表示不願過問政治，逕返保定閒居。曹為人寬厚，甚得人緣，不似吳佩孚之強項，容易樹敵，因此在吳走投無路之際，直系要員紛紛敦請曹錕出馬團結直系。
由於孫傳芳在吳軍危急時不肯赴援，因此使人想到一段往事，認為孫傳芳在報舊仇，那是湘軍援鄂之役，鄂督王占元求救於吳，吳派蕭耀南率先頭部隊馳援，蕭軍進駐武漢並不開赴前線，坐待王占元的失敗，乘機把湖北納入吳的範圍，直系認為吳這一手吃了自己人，太不夠意思。孫傳芳當時是王占元的部下，親眼看到這一幕，他雖然因為這一次戰役而受知於吳佩孚，但王占元失敗的一幕卻深印心中。現在他坐視吳苦戰而不救援，有人說是歷史的重演。因為有這些原因，直系的舊人就想抬曹錕出來團結直系。
曹錕是和夏壽田、張廷鍔來鄭州的，下榻鄭州中州飯店，抵鄭當天就染上感冒。而吳佩孚僕僕軍事，也抽不出時間來看曹。過了兩天，吳才抽出空由張廷鍔陪同赴中州飯店謁曹，曹正和夏壽田談得很高興，吳入室鞠躬為禮，並請問：「總統感冒好了沒有？」曹不理亦不答。房中空氣為之寂靜，吳再問，曹徐徐而言：「外面風好大喲！」吳說：「今天天氣好，外面沒有風。」曹說：「外面沒有風怎麼把吳大帥吹來了。」吳一聽知道是曹多心，乃低下頭聆訓，曹說：「你是大帥，我也做過大帥，我做大帥時有功都是你們的，如果不把功勞分給你們，你怎麼會做到大帥，可是你今天有功都是自己的，不能容物，不能開誠對下，自大狂妄，造成今天上下離心離德。」曹越說越氣，聲色俱厲，吳低頭不敢作答。夏壽田和張廷鍔用其他話蓋過，才把空氣緩和，吳遂告辭。曹雖斥吳，可是仍努力團結直系，把靳雲鶚找來，靳對曹表示不滿吳，曹好言安慰，勸靳顧全大局。
孫傳芳在南京坐待吳佩孚戰敗，他自以為得計，其實卻讓革命軍逐一擊敗。當革命軍出湖南直指武漢之際，倘孫軍劍到履及，不東推西拖，與吳軍合作，則對革命軍來說，是增加了很大的麻煩。孫軍按兵不動，直接搞垮了吳佩孚，間接也搞垮了自己，使北伐軍坐收各個擊破的戰果。
孫軍初與革命軍接觸時，略有進展，那時吳在鄭州接獲孫的戰報，自誇對戰局有把握，言外之意似在譏誚吳的不中用，今後的重頭戲只輪到他一人獨唱了。怎知時間一久，北伐軍在江西捷報頻傳，孫自誇革命軍的前進像繩子一樣寸寸剪斷，結果是自己做了繩子，讓革命軍寸寸剪斷了。
吳佩孚由漢口退到鄭州後，其轄區是：北自保定，南至武勝關，靳雲鶚在郾城設立司令部，日日言反攻而日日按兵不動。按兵不動是靳的一貫作風，吳佩孚這時的處境實在很惡劣，一面是明敵，一面是暗敵，用兩面作戰來形容吳的處境還不夠，簡直是背腹受敵。
張作霖天天打電報問吳，今後的動向？張意思是如果吳對付不了革命軍，不如讓出一條路給奉軍，並且願意把奉軍交給吳指揮。然而吳對奉軍已有不敢領教之苦，南口作戰的記憶猶新，所以他一再答覆張說自己的力量足以擋住革命軍，現在還不需要奉軍加入。
吳退鄭州時，以「南」為敵，以「北」為友。事實上國民革命軍是把吳佩孚當作頭號敵人的，而奉張則滿口吳二哥，叫得非常熱絡。可是形勢比人還強，如今的吳二哥是個鬥敗的公雞，奉軍把他看做擋路的瘟神，叫他讓路他不讓，對於他阻擋北伐軍的能力也失去了信心。
吳只提防革命軍出武勝關繼續北伐，卻做夢也想不到奉軍將渡河而南，告急文書不自南來，而自北飛到，保定方面奉軍逼迫吳軍讓防，齊燮元一再急電請示迎拒奉軍的辦法。奉軍表示孫傳芳乞援於奉，所以奉軍要肩起收復武漢的責任。
吳的地盤已變成張的障礙物了，大難臨頭各自奔，張、吳之間現在是各懷鬼胎。
當武昌城破之日，即奉軍接防保定、大名之時，吳腹背受敵，內心之苦莫可言宣。
更令吳難堪的，是奉系和孫傳芳密使往來不絕於途，盛傳奉張和蘇孫加強合作，奔走其間的，就是王占元，而靳雲鵬希望調和張、孫，出山組閣，所以也熱衷奔走。
奉直魯軍援吳問題使吳佩孚頗感困擾。吳知道得很清楚，他與張作霖之間的帳很難算，張作霖對他不會真心幫忙。張宗昌和他還有很好的關係，張宗昌的幫忙比張作霖要有真意。然而張宗昌軍和他之間也存在一個癥結，就是保、大問題。保、大是吳的後方，也是唯一的吳軍餉來源地，可是保、大又是直督褚玉璞的轄區，褚玉璞天天嚷著要接收保、大，害得負責保、大的齊燮元寢寐難安。
奉、直、魯認為控制北京，統一直隸，出兵援吳是奉、直、魯的既定計劃。當吳佩孚退至河南境內時，吳的秘書長張其-迭電張宗昌請援，不過吳本人不贊成奉、直、魯出兵援救，只希望接濟餉彈。張作霖本無積極助吳之意，張宗昌倒是希望拯吳於危，可是直魯軍方下動員令，而吳佩孚擋駕特使已馳至。15年9月30日吳派符定一到濟南轉達吳意，擬請直魯聯軍暫時不必開入河南等待後命。吳又恐怕符定一對於軍事情況未能詳述，所以又加派參謀長張國溶與劉紹曾及魯方前派來鄭州的代表童好古、常之英一同前赴濟南謁見張宗昌，代表吳佩孚一方面向張表示謝意，一方面請張緩期出兵。張國溶攜有吳佩孚的親筆函，內述已經開往保大的援軍，請勿前進，未開拔的一律停止出動。張宗昌對吳的各代表表示，魯直聯軍南下應援義不容辭，既然吳玉帥認為目前還不需要，自當停止前進，直軍既已開拔，驟然請其停止，恐褚督於內情尚不盡悉。於是魯張乃電邀褚玉璞來濟，褚接電立即動身，午夜抵濟，即赴督府會議，第二天清早原車返天津。
吳佩孚滿以為褚軍接收保、大事已趨緩和，怎知10月2日褚玉璞又由天津專車赴豐台轉京漢線赴保定，一方面準備援鄂軍事，一方面辦理和平接收保、大事宜。直隸保定副司令徐源泉亦由濟南趕回助褚。褚表示對吳部一切補給援助均屬可能，但保、大既屬直省範圍，事權必須統一，何況由直隸出軍援吳，保、大是必經之地，怎可不先行接收。接濟吳方餉械與接收保、大並不衝突。
吳佩孚的副帥齊燮元10月2日尚通電保、大兩道道尹知事和各局所長，飭將應徵之款督征催解，並飭勿離職守，可是褚玉璞抵保後，褚部謝玉田師也開入保定，事實上褚軍已正式接防了。
北京城內也有變化。北京政府本為吳佩孚所擁立，代理內閣總理杜錫-既無權又無力，吳在鄂戰敗，奉張聲勢增強，而奉張寧要北京衛戍總司令，不要內閣，所以靳雲鵬雖奔走於奉張和蘇孫之間，奉方意態非常冷淡。10月1日杜代閣辭職專任海長，財政總長顧維鈞調外交總長代理閣揆，潘復任財政總長，湯爾和任內務總長，其實這時候的北京政府已更不被各方重視了。同日奉軍第十軍軍長於珍就任北京衛戍總司令。
奉張入京後，奉系所注意者為河南。吳佩孚在河南不進、不退、不戰、不和，其部下靳雲鶚反吳於前，而田維勤、寇英傑又不合作，魏益三又與田部同駐，寇乃感勢益孤單，河南糾紛迭起，奉軍入豫更形迫不容緩。
16年1月15日張作霖令張學良、張宗昌以實力援吳，先以兵力肅清黃河北岸，然後渡河至鄭州。正當奉軍要開入豫境，京津各報盛傳魏益三附靳反吳，田維勤則匆匆避往汝南寇英傑處。
1月初，奉軍入豫，進駐彰德，2月8日奉張發出兩電，宣告奉軍入豫意旨，原電如下：
「（一）南京孫副司令、太原閻副司令、濟南張副司令、褚司令、吉林張督辦、卜奎吳督辦、綏遠商都統、承德湯都統、張家口高都統鑒：年餘以來，賴諸君戮力同心，直魯晉綏，幸告肅清，而武漢不守，禍延長江。迭據湘鄂各省士紳奔走呼號，請兵援救。只以豫中系吳玉帥駐節，再三商詢，自認反攻，我軍雖切纓冠之誼，並無飛渡之能。兵至直南，及河而止。今時閱半年，未聞豫軍進展一步。反攻之望，完全斷絕。而敵焰日張，竄擾閩浙，長江上下，將無完土。本軍負專征之責，國事興亡，義難坐視。遷延不進，禍將噬臍。茲已分飭直魯聯軍及三四方面軍分途前進，誓收武漢，進取湘粵。其豫中將士，但系宗旨相同，概無歧視。以符始終合作貫徹宗旨之意。師發在途，恐淆觀聽。特電奉聞，張作霖。庚。（二）開封寇總司令、米幫辦、信陽田總司令、靳總司令、彰德齊副司令、陝州劉總司令、並轉豫中各將領鈞鑒：自武漢不守，贛閩繼陷，赤禍蔓延，幾將流毒全國。敝軍前徇馨帥之請，進兵京漢，以取犄角之勢。因玉帥來電自任反攻，是以敝軍未越黃河一步。乃時閱半年，毫無進展，反攻希望，完全斷絕。作霖承各帥公推，自任專征重責，迭據各省紳民呼號求救，文電交馳，設再遷延坐視，國將不保，何以對民？而北方大局之同歸糜爛，亦在意中。諸君同屬軍人，誼共急難。當茲危局，奚可苟安？茲已令飭三四方面軍剋日取道京漢路攻取武漢。所有豫中將士，但屬宗旨相同者，一視同仁，毫無歧異。從前地位軍號，一仍其舊。並望協同動作，共紓國難。諸君為國宣勞，志同道合，尚望申明此意，分告所部，俾免誤會。除徑電玉帥外，特電奉聞。敬希示復，張作霖叩。庚。」
張作霖為了奉軍入豫，並有一電直接給吳佩孚，電云：
「鄭州吳玉帥勳鑒，效密。自武漢不守，贛閩繼陷。馨帥力竭請援，約定敝軍，進兵京漢，以取犄角之勢。弟曾再三奉商，均承復電，定期進取。弟以尊重我兄意旨，希望貴部整旅反攻，是以兵至直南，劃河為守。乃時閱半年，未進一步。反攻希望，完全斷絕。長此遷延，敵方坐大。北方大局，何堪設想。而陷敵各省人民之淪於水深火熱，呻吟痛苦，宛轉呼號者，不知凡幾？疊據湘鄂皖豫士紳文電吁懇早發大兵，其情殷切，聲淚俱下。弟既承公推之雅，負專征之責，坐視不救，何以對民？會師爽期，何以對友？大亂不平，何以對國？再不自決，行將噬臍。是以簡飭師徒，渡河南進，取道京漢，攻取武漢。貴部將士，但與我輩宗旨相同者，一切地位名義悉仍其舊，並望互相援助，切勿誤會。尚希分別飭知。至地盤問題，敝軍援綏援蘇，事成拱手相讓，此物此志，當可大白。明達如兄，當能亮察，學良等到豫後，如得清暇，尚望到京一行，共商策劃。至盼！張作霖。庚。」
吳佩孚曾有一蒸電復張，請奉軍緩進，原電云：
「張雨帥勳鑒：密。庚佳兩電敬悉，貴軍此次渡河南進，事前並承賜電通知，共商辦法。敝部雖謹戒避讓，冀免誤會，仍不免惶惑驚疑，愚兄雖能諒弟苦心，而實難於應付。數月以來，貴軍當持經豫入鄂之議，而敝部屯駐京漢線者十餘萬，道路之騰挪甚難，戰線之分配不易，故尊意雖堅決，此間竟無術贊同。內部因而自行整頓部眾，費時數月，糜餉不貲，想亦吾弟所深知也。蓋此間各軍，分子複雜，非簡單命令所能處理。一切命令，不與事實相調劑，則不易施行。若可簡單行之，則本軍早到武漢矣。今貴軍南來，愚兄無法可以簡單命令，使敝部趨於一致，實感困難。地盤雖不足論，而各軍實為生命所依，縱令吾弟兄能開誠相許，而無時間以資調處，自不能相安無事。若只以威力行之，恐貴軍救鄂未及，糜豫先成。討赤未遑，絕友先見，造成鷸蚌，以待漁人，大局更不堪設想，吾弟兄同心討赤，一載有半，豈可一著不慎，隳敗前功。此愚兄所不能不懇切相商者也。現仍盼吾弟速令貴軍停止前進，以便從長計定作戰辦法。畢黻廷兄想已到京，尊所有計劃，無妨詳細妥商也。特布腹心，啟乞鑒察，吳佩孚。
蒸戍。印。」
張作霖接吳佩孚電同時接到靳雲鶚電，當於16年2月18日復吳一電，勸吳不要袒靳。電云：
「鄭州吳玉帥勳鑒，效密。筱電敬悉。我輩宗旨相符，一年以來，無一事不尊重我兄意見，本合作之精神，期始終之貫徹。自陽夏失守。貴軍節節北退，變化之速，全國駭愕。我兄既卻敝軍之援，又無切實反攻之力。弟為顧全合作及信義起見，迭陳意見，以冀我兄有所覺悟，予以容納。不圖信使往還，函電紛達，時逾半載，迄無解決之方。浙已不守，滬埠吃緊，馨遠迭電催進，人民責言備至，若再因循坐誤，勢非個個擊破，全國淪胥不止。熟籌審察，非進兵不能討赤，非入豫不能進兵。默察趨勢，實屬忍無可忍，緩無可緩。此次毅然進駐豫省，不得不抱最後之決心，師已出發，萬無中途停進之理。敝軍之一舉一動，悉秉弟之命令而行，斷無部下自由行動之事。靳雲鶚從前二三其德，早在洞鑒之中。陽夏之役，忍令我兄失敗坐視不救，且有危害之舉動。今則公然抗拒義師，旗幟顯然，以前之種種行為，今已證實。我兄又何必庇此不忠不義之部屬乎？似我兄所處環境，及委曲苦心，亦所深知。如有通力合作分路擔任之計策，弟亦極願受教且擬隨時援助。此心此志，可質天日。幸兄鑒察之！張作霖。巧。印。」
由於奉軍大舉入豫，曹錕在鄭州打算重樹直系聲威的計劃遂告落空，因此於16年2月11日由鄭返津。
奉軍出動入豫後，即由京漢、隴海兩路向鄭州進發，全部軍務共5萬人，前鋒由榮臻率領，入豫奉軍悉歸於珍指揮。
奉軍集中黃河北岸，張學良和於珍於13日由濟南遄返北京，在順承王府由奉張召集軍事會議，結果一致主張不理吳佩孚態度，於2月15日前鋒實行渡河。
吳佩孚坐困鄭州，南北兩面受敵，他的部隊不和他同心同德是他的致命傷，豫中將領對奉軍入豫態度亦不一致，豫東鎮守使郭振才通電歡迎願聽指揮，奉方並委宋振檀為安國軍毅軍總司令。寇英傑對奉魯早有拉攏；豫南的田維勤和魏益三則表示擁吳，魏益三原是奉軍，因隨郭松齡倒戈，所以無面目再投效奉軍。因此奉軍入豫將以全力對付豫南。
靳雲鶚在雞公山，因與吳唱反調而遭吳免職，且一部分靳軍被吳繳械。他是反奉的，因為反奉的主張而與吳分道，現在奉軍正式對吳下手了，在利害上，靳可以和吳恢復舊情，因此他由雞公山跑到鄭州來見吳，對吳說：「大帥，我願遵令交代，但部下已忍無可忍了！我只能打一面，如果向武漢打去，可是我們背後卻受到自稱朋友的敵人攻擊，我們怎樣打法？我保證南軍不出武勝關一步，我們應權衡輕重，打退了胡匪再說。」
吳的感想是「主意雖不是主意，話卻說得痛快」。不過吳生平最恨朝秦暮楚，覆雨翻雲。當陳炯明炮擊廣州總統府時，吳大不以為然，他說：「競存（陳炯明）太無人格了，別人可打中山，競存怎可以打中山？」吳與張作霖雖是利害結合，可是兩人已經拜了把兄弟，因此他抱著寧人負我，毋我負人的態度，認為奉張不夠朋友是另外一個問題，但我吳子玉要夠朋友。別人可以打奉，今天我姓吳的不能打奉。他言外之意是如是靳雲鶚你要打自己去打，可別肩著我的招牌！靳也瞭解吳的個性，他用堅定的口氣對吳說：「打奉我是打定了，大帥不叫我打，我自動去打，不用大帥名義，用保豫軍名義。」
吳苦著臉說：「局勢糟到這個地步，你自己去幹吧！」靳得了這個口風就告辭了吳，回到郾城組織「河南保衛軍總司令部」，自任總司令，他對吳是「背」而不「叛」！魏益三既然畏懼奉軍的，所以熱烈擁靳，領銜發表通電。
16年2月17日張學良有致靳雲鶚一電，電云：
「信陽州探投靳薦青姻長賜鑒，奉誦馬電，迪承訓誨，無任感慚。良雖不敏，向持四義。事上官以忠，事親以孝，為國除賊，為社會求安。此心此志，如是而已。長者倘不鑒諒，必欲周旋於鄭衛之野，謹當退避三舍，整旅以待。特此布復，伏維垂察。張學良叩。」
奉張既然撕破了臉要進兵河南，並且由於靳雲鶚組織保豫軍而專攻奉。吳佩孚不好意思抗奉，也閉了眼睛讓靳雲鶚抗奉。這一來，河南方面便爆發了北方軍閥自己的內戰了。
16年3月5日晚，張學良奉命由京南下，赴衛輝幫同韓麟春指揮前進。小張7日抵衛輝，下總動員令，並召集於珍、榮臻、趙恩臻等重要將領會議，決定照預定計劃分三路渡河，於珍指揮中路、趙恩臻指揮西路、榮臻指揮東路，限各軍一星期內渡黃河，逼鄭州。
3月8日張作霖授意張景惠、吳俊升、張作相電請吳佩孚來北京。奉方認為吳在鄭早已大權旁落，靳雲鶚已實操用人行政及軍事調度的大權，不啻為豫軍盟主，吳氏衛隊已有斷炊之虞。靳表面上仍以擁吳為名以資號召，靳本人仍駐郾城，因恐奉軍由朱仙鎮襲許昌和郾城間的京漢路線，所以對該處防務甚為注意，不敢親離。奉軍認為只要吳佩孚離開河南，即可對靳大力用兵。可是吳佩孚復張景惠等來電，仍表示不肯離鄭。
奉軍三路出動後，中西兩路因缺乏民船，且黃河鐵橋又斷，南岸佈防嚴密，過河百感不易，遂改變方略，先以主力由東路繞道攻中平。
3月11日北京順承王府會議決定，河南前線由張學良、韓麟春負責指揮急進，並調吉、黑奉軍入關擔任後防。當天於珍率軍渡過黃河，繞赴朱仙鎮，自中平側攻，下總攻擊令，12日佔領中平車站，13日佔領中平縣城，豫軍退守白沙，奉軍直進至距鄭州15里之古城。北岸奉軍因接東路捷報，亦乘勝渡河，鄒作華部炮兵在河岸掩護，榮臻親自指揮，丁喜春、陳在新兩旅遂於14日衝鋒至南岸佔領芒山，15日抵榮澤縣城。西路趙恩臻部亦於15日由溫縣渡黃河抵汜水，與中路策應。三路奉軍同時進發，鄭州遂陷於包圍之中。
奉軍一向用兵多不注意民間疾苦，因此每當奉軍進駐一新的地區，當地人民即視虎狼載途。北方人對奉軍的印象有這樣兩句話：「媽那巴子是免票，後腦勺子是護照。」形容奉軍坐車看戲不買票還要罵媽那巴子。而東北人後腦勺與一般人不同，所以可當護照，來去通行無阻也。過去楊宇霆督蘇，姜登選督皖時，孫傳芳一聲號令驅逐奉軍，奉軍即無法立足，多由於此種印象深入民心。所以這次奉軍入豫大改前態，當奉軍抵黃河北岸時，因缺乏船隻，渡河極感困難，必須僱用民船人夫，奉軍僱用時特別優給費用，沿途並嚴禁需索及佔住民房。這一來河南人民均樂意為奉軍服務，使老百姓觀感一新。這主要由於北伐的革命軍所表現的一切，是秋毫無犯，為民服務，奉軍既然想與革命軍一較短長，就不得不順從民意。
16年3月13日，奉張給吳一封類似絕交的電報，語氣極不客氣，前半段呼吳為「執事」，末段雖尚有「我兄」之稱，可是全文讀來，兄弟之情已告決絕。張致吳電云：
「鄭州吳玉帥勳鑒：蒸電敬悉。前因靳部倒戈，鄭州危急，疊電敦迓，純出至誠。來電不蒙鑒諒，乃以頓兵不進，諉過保大京漢兩事。且責鄙人未以械彈相助，未免言之過當。夫保大者，中華民國之領土，直隸省之轄境，並非執事所得而據，更非執事所得而攘。至於訂立條件，鄙人並未與聞。其京漢之在直境者，直隸有之。如責直隸以據直隸之京漢，不責執事以據河南之京漢耶？責己則暗，無乃不恕。至於渡河進兵問題，弟曾於上月庚電奉達，謂無一言見告，何其健忘。且聞敵軍已向信陽進兵矣，兄之部下，且引虎自衛。兄如不知，何以處二心之叛將？兄如知之，何以副討敵之初衷？進退失據，無過於茲。敵來犯境，則退讓未遑。友來假道，則屏絕不許。真不知宗旨安在矣？至於助械助餉，本為一致討敵。今頓兵半年，反引敵北犯，而猶責敝軍以協助。雖三尺童子亦知其不可，豈鄙人所能任其咎耶！近聞靳部包圍左右，我兄已失自由，來電恐非出自本意敝處亦所深諒。惟恐外間不察，易淆聽聞，特布區區，敬希亮察。張作霖元。」
鄭州既已三面受圍，奉軍以飛機和重炮掩護，向鄭州進攻。這時吳佩孚真是進退維谷，如果不離開鄭州，只有做奉軍的俘擄。山西閻錫山給吳電報，迎吳入晉，並請吳在可用之兵中抽調5萬人到山西整理一下，再出娘子關共同討奉，吳不肯接受，並向幕僚們說：「我要打奉軍在河南打不是很好，何必跑到山西去打？」
吳佩孚把自己部隊清算一下，吳新田一軍在陝西，於學忠一軍在南陽，陳文釗一軍駐鄧縣，張聯升一軍佈防襄樊，王維蔚、王維城等部已投入「保豫軍」，寇英傑仍在開封，算來算去，東邊不是路，還是往西邊走的好。
3月15日吳佩孚揮淚離開鄭州，臨行時他下令自兼豫西防守總司令，下分三路：第一路馬吉第守牧馬集一帶，第二路劉希堅守中平至黑石關一段，第三路張席珍守黑石關至洛陽之段。他認為奉軍要我讓出京漢路，現在已經讓出了，我現在退到豫西，奉軍再沒有理由逼我了吧。
靳雲鶚的保豫軍和張學良、韓麟春的奉軍打了一場惡戰，靳手下第一勇將高汝桐乘坐鐵甲車去搶奉軍的鐵甲，兩車相撞，高汝桐的身體變成了一堆肉醬。
原來吳佩孚自受奉軍進攻，從鄭州移駐鞏縣後，自以為跳出了戰爭漩渦，不料戰神卻偏偏追尋著他，不讓他有苟延殘喘的機會。馮玉祥部由陝西出動，鎮嵩軍劉鎮華在洛陽響應，潼關張治公部又投降了奉軍，奉馮雙方有一觸即發之勢，因此奉軍又向吳提出讓防的要求，請吳不要擋路給馮玉祥乘機取洛陽。張學良請吳移居鄭州，當以老伯之禮相持，吳佩孚當然不肯去自投羅網做「階下囚的老伯」，所以繼續不理不睬，不戰不走。
年輕的奉軍將領可沒有張老帥的涵養工夫，一次不理，二次不理，三次便拿出硬功夫來，不再請吳讓防而向吳奪防了。吳的屢敗之兵，怎敵得「老侄」們一股銳氣。當汜縣部隊被繳械的消息傳到鞏縣時，吳遂於16年5月16日匆忙地離開了鞏縣，遁走南陽。
這是落荒而逃，由鞏縣經嵩山、方城到南陽，一路受盡了千辛萬苦。那時革命軍唐生智部由京漢線北進，馮玉祥由隴海線東進，靳雲鶚取消了「保豫軍」名義，通電就任國民革命軍第二集團軍（馮玉祥軍）第二方面軍總指揮職務。南陽是於學忠的防區，吳於會合後，吳的情勢並沒有好轉，因為於學忠的第八軍，有馮的舊部，也有靳的舊部，於的指揮並不徹底，叫這些軍隊去打馮，馮的舊部靠不住，叫這些軍隊去打靳，又怕靳的舊部會倒戈，如果光是以保護「吳大帥」為唯一職責，又怕吳的目標太大，這些離心的平隊如果把吳擒了去獻功豈不更糟，所以於學忠想來想去，只有請吳離開南陽。