吳佩孚衡陽撤防是改變南北形勢的一個驚人行動。後來吳成為北洋時代風雲人物也是由此開始。
吳師撤防是從9年5月20日開始。吳事前曾電請張敬堯派員到衡州協商接防問題。張敬堯派湖南暫編第二師師長（北軍）吳新田為「主持湘南防務司令官」，於21日到衡州，與吳佩孚及湘軍代表簽訂條約，南北兩軍維持原有停戰界線，湘直兩軍停戰協定繼續有效。一直到吳師自動撤防的前夕，北京政府才有電報批准直軍撤防。吳師開拔時作環次隊形的佈置，主力第三師居中，湘江兩岸各設掩護隊，前方設有偵察線，後面設有殿卒，大軍揚帆而下，全軍齊唱吳所親撰的《登蓬萊閣歌》。
吳有《回防途次》詩曰：
行行重行行，曰歸復曰歸。江南草木長，眾鳥亦飛飛。憶昔赴戎機，長途雨雪霏。整旅來湘浦，萬里振天威。孰意輦轂下，妖孽亂京畿。虺蛇思吞象，投鞭欲斷淝。我今定歸期，天下一戎衣。舳艫連千里，旌旗蔽四圍。春滿瀟湘路，楊柳正依依。和風送歸鳥，綠草映晴暉。少年惜春華，勝日斗芳菲。來路作歸程，風景仍依稀。周公徂東山，憂攙亦畏譏。軍中名將老，江上昔人非。建樹須及時，動靜宜見幾。何日摧狂虜，發揚見國威。不問個人瘦，惟期天下肥。丈夫貴兼濟，功德乃巍巍。江上送歸舟，風急不停揮。得遂擊楫志，青史有光輝。春日雁北向，萬里動芳徽。鴻漸磐石願，衍衍不啼饑。止戈以為武，烽煙思郊圻。同仇復同仇，歸願莫相違。
吳師於5月20日開始撤防北歸，27日由水路經過長沙。張敬堯怕他捨舟登陸，戰長沙，奪帥印。所以在湘江右翼配置了強大的兵力，但只作防禦準備。而吳師根本無上岸打算，雖亦作緊急戒備，不過是怕張軍襲擊而已。雙方均未挑釁戰火，吳師乃揚帆而去。
吳師於5月29日過岳州，也未停靠，31日集中漢口，由於車輛缺乏，一直到6月5日才開始向北移動。
吳佩孚雖然請張敬堯派軍接防，可是實際上他是決定把衡陽移交給湘軍的。湘軍驍將趙恆惕是他心儀的人物，兩人惺惺相惜。所以吳師整裝待發的時候，就是湘軍執戈待動的時候。不過，當時的形勢對湘軍是很不利的。張敬堯是北洋勇將，他的軍隊已經擴充到7萬人，他自兼北軍第七師長，可是他所直屬的部隊則有湖南暫編第一第二兩師和第一混成旅。歸他節制指揮的還有協助長沙防務的第十一師（師長李奎元），駐防湘潭的第廿師（師長范國璋），駐防常德的第十六混成旅（旅長馮玉祥），駐防湘東的暫編第一師（師長張宗昌）和安武軍一部分。
衡州和寶慶是長沙的前方兩個重點，張敬堯派他手下的兩員大將，湖南暫編第一師長田樹勳守寶慶，兼長寶鎮守使，第二師長吳新田守衡州。
張敬堯是安徽霍邱縣人，出身是徐淮間的流寇，後來入伍為小兵。癸丑二次革命時，他隨李純入贛任第六師的團長，由此擢升為第七師長。老袁稱帝前，他在北京同興飯館對人揚言說：「大總統做大皇帝，下一道上諭就成了，幹什麼還要研究和請願？」有人把這些語報告袁，袁生氣說：叫這個老粗不要亂講話。可是心裡則喜歡他的憨直。護國軍起，袁派他入川，袁死後，他又向張勳遞門生帖子。復辟失敗，他倒向皖系，成為對南方主戰派的中堅。他是反直系長江三督的主要人物之首，由於他是跟李純起家的，他罵李純最有力量，他的通電大罵秀帥夫子（李純字秀山），以討好於芝老上將夫子（段祺瑞字芝泉）。段賞識他頭腦簡單，所以把湖南督軍寶座送給他。
據說張在督軍任內時，曾文正的曾孫女曾寶蓀在長沙創辦藝芳女學，曾寶蓀的父親是文正長孫老翰林曾廣鈞（重伯）。寶蓀從小就跟英國女教士巴小姐赴英國留學。張竟動念頭到這位小姐的身上，遣人邀曾翰林赴督署一談。曾廣鈞到督署見到張，口呼督軍老伯，敬堯愕然不知所對，面對著文正公的長孫，對自己如此稱呼，不無受寵若驚，邪念為之大減。曾辭出後向人說：「聽說張督軍的先君諱總愚，我先祖曾保薦過他，這樣算起來張督軍自然是我的父執了。」其實這是曾的苦肉計，把張敬堯的輩份提高。使他不能動後輩的念頭。張總愚究竟是不是張敬堯的父親，誰也不知道，張總愚是捻軍的頭目，後來被招安的。
吳師撤防以及北歸的經過，及抵河南佈置情形，茲特抄錄張一-所編《直皖秘史》一段，其中敘述甚詳，張文云：
「吳佩孚將湘南撤兵事宜佈置妥善，至軍隊分水陸兩道陸續開拔後，遂於廿五日由衡陽乘舟啟行。各界人士均至河干歡送。經過株州、湘潭，均受各界歡迎。至廿八日上午，直軍前隊已開到省垣，人民站立觀看者，大有牽袂成帷之勢。吳部士兵均赤手對坐，狀極閑雅，且有扣舷而高唱軍歌者，一望而知其為久經訓練，紀律嚴明之師，絡繹而來，前後共過廿一班。然後紅旗招展，氣笛嗚嗚，而吳氏所乘之『新鴻運』火輪至矣。於是岸上軍樂大作，軍警均行舉槍敬禮。吳氏船上亦頻頻鳴號答禮。湘督張敬堯親自出迎，以吳氏不肯登岸，即率軍政要人分乘火輪，駛近『新鴻運』，隨即過船，與吳氏談敘十分鐘之久，始返棹而回。
吳氏由長沙啟碇，於廿九日上午抵岳州，僅帶騎衛隊廿四名，登岸入城，以鎮署為行台。午餐後與地方各長官步行至岳陽樓上參觀名勝，隨即繞道游視城垣，至西門新修處（系前歲直軍攻岳時以轟城炮擊倒傷斃數百人之處），吳氏觸目驚懷，回行台後，諭軍需處備具祭品，於卅日就岳陽樓開追悼會，奠祭直軍死義將士，至卅一日午前，直軍大隊人馬數近二萬人，由岳到鄂，一片人影，滿佈江中，俱向劉家廟登陸，吳氏則押軍後行，所有省垣各機關各法團領袖，均預先渡江赴劉家廟迎迓。至下午一時，吳氏到漢，傍晚由王督軍歡迎過省宴敘，其所帶軍隊則暫住劉家廟車站。
吳氏離湘之初，原擬抵漢後俟所部到齊將車輛等部署粗定，即輕車簡從先行北返，嗣以湘中風雲驟變，南軍進佔吳氏前駐各地，尤應請命曹錕再定行止……。政府因即去電敦促即日北上，而吳氏則以無款開發船價及交通部不撥車輛為搪塞之計，依舊屯駐漢口。蓋靜以觀變，別具深意也。
吳軍滯留漢口，久而不發，因之謠言蜂起。而政府以吳氏按兵武漢。實足引起各方之猜忌，直接促歸無效，即電由曹錕轉飭速行。吳氏迫不得已，乃派其參謀長赴汴與趙倜密商，擬將吳部暫駐信陽、許州、鄭州等處，其欲暫駐豫境之原因，即以皖派舉動可疑，暗中已有出師籌備，必將軍隊分佈豫境，則北貫京畿，南扼武漢，京漢道上必非皖派所得問津矣。吳軍駐屯豫境之計劃既與趙倜雙方商妥，遂於六月七日晚由武漢起程。八日抵鄭，共到五列車，駐札地點之支配則以三師全部駐鄭州，第一旅駐許昌，第二旅駐駐馬店，第三旅分駐順德、磁州，騎兵團駐黃河橋，步兵八團駐新鄉縣，沿途旌旗滿目，帳幕相望，軍容甚盛。」
吳佩孚在衡陽吵著要撤兵的時候，段祺瑞當然認清了這個問題的嚴重性，這不止是撤防問題，而是直皖兩系短兵相接，你死我活的問題。所以段也有他的安排和打算。
早在9年4月下旬，駐防陝西的奉軍許蘭洲部忽然移動到華陰、潼關、觀音堂一帶。這個行動使段懷疑是奉軍有企圖移向河南平原，以策應直軍北進，因此指使陝西省長劉鎮華派兵偷襲奉軍。劉鎮華的軍隊是鎮嵩軍，他奉到段的命令後，即向奉軍挑釁，只因鎮嵩軍兵力並不雄厚，所以衝突未擴大。
5月17日，段在團河召集秘密會議，作了一系列的軍事佈置。一面召回徐樹錚，並將全部西北邊防軍調回北京附近，一面決定自己出馬擔任川陝剿匪總司令，率領邊防軍一三兩師向陝西出發，討伐陝南民軍和川滇靖國軍。為了提防靳雲鵬在北京搗鬼，準備派其為副司令或參謀長，令其隨軍出發。這是一條「聲東擊西」的妙計，真正目的並不是向陝西出兵，而是準備在鄭州設立總司令部，首先驅逐河南督軍趙倜。然後派軍防守京漢路南段，阻斷直軍的歸路。如果直軍打算強行通過就在河南平原予以迎擊。段祺瑞認為在河南平原與直軍作戰，不但北京根據地不致受到戰火的威脅，而且山東、安徽兩省的皖系軍隊可以側擊直軍，這是如意的算盤。使這個如意算盤落空的因素，是當段帶兵出征陝西的消息傳到關外，張作霖立刻借口邊防軍出動，北京防務空虛，要求准許奉軍入關「拱衛京師」。如果北京真的由奉軍拱衛，則北京的「正戲」便由張作霖來唱了。因此段這個想爭取主動的作戰計劃，就因為「螳螂捕蟬，黃雀在後」而被迫放棄。
吳師在武漢逗留期間，王占元接濟了軍費60萬元，其中40萬元還是王占元從私囊中提出來的。由於京漢路車輛缺乏，直到6月5日才由漢口分批北開。8日抵鄭州，13日在鄭州發出一個爆炸性的電報，分致反皖的八省聯盟各督軍，內容是：反對安福系包辦上海和會，建議召開國民大會解決一切問題。這是吳佩孚第一次公開建議召開國民大會的電報。這個電報之所以具有爆炸性，在於這個建議不是任何軍閥所能接受的，不但張作霖看了大為生氣，就是吳的上司曹錕也搖頭大不謂然。所以在反皖的八省同盟中引起了很大的反感，認為吳佩孚官卑職小，態度狂妄。
北方反段的軍人雖然不滿意吳的狂妄，可是為了直皖戰爭爆炸在即，吳是一個肯打硬仗，而其軍隊又能打仗，所以對吳的過分言行，只好隱忍於心。
吳這通電報得到南方人民團體的熱烈歡迎。
吳佩孚將其主力佈置在河南，北方風雲為之變色。奉軍為了暗中策應直軍，所以也零零星星地分為三營五營開進關來，6月10日駐獨流鎮的奉軍四營，經過天津開往廊房。
曹錕也於6月10日派兵監視德州兵工廠，並以德州為直軍右翼的前哨陣地。
6月15日，吳佩孚偕同三個混成旅的旅長到了保定，同時江蘇、奉天等省代表也都到保定來參加曹錕所召集的保定軍事會議，這是一次秘密的，卻是極重要的軍事會議。
段祺瑞方面自然也積極佈置，他密令駐守濟南的邊防軍第二師師長馬良作好動員準備，俟機北向進攻德州，或者西向側擊鄭州。為了準備打仗，皖系積極籌措戰費，由安福系的交通總長曾毓雋，以京綏路為抵押，向日本借款500萬元作為戰費，日本方面本已考慮答應，因為在中國內爭上，日本是傾向皖系的，著名的親日派曹汝霖、章宗祥、陸宗輿都是皖系，日本當然希望皖系得勢。可是這個時候，日本已不能像歐戰期間那麼方便，可以在亞洲尤其是中國為所欲為，因為美英已經聯合起來在中國問題上採取強硬的立場，對日本採取監視態度，不讓日本獨佔中國利益。因此日本的一舉一動都有美英在扯後腿。所以皖系以京綏路向日本押借500萬元，由於美英兩國出面干涉就只好作罷。
這時候，皖系無論在外交上、財政上、或是作戰的戰略地位上，都處於十分不利的地位。最大的兩個因素成為皖系的致命傷，一個是主張內戰，發動南北戰爭，在全國人心盼望和平統一的時候，內戰是不得人同情的。一個是親日，當時全國人心都痛恨日本侵略，得寸進尺，尤其在歐戰期間乘火打劫，企圖獨吞山東，所以凡屬中國人莫不反日，皖系獨倚親日為外交奧援，更是大失人心。
至於在軍事佈置上，皖系也居於不利的地位，駐防洛陽的西北邊防軍，處於鄭州直軍與潼關奉軍之間，駐防信陽的皖軍吳光新部，也是處於河南、湖北兩省直軍夾擊態勢中，而在廊房的西北邊防軍，也在奉軍監視之下。
將領方面，皖系的徐樹錚成為群矢之的，可以說段祺瑞因為信賴徐樹錚一個，而導致直奉兩系聯合抗皖。張敬堯禍湘，馬良殘殺抗日的愛國分子，傅良佐、吳光新都非將才，倪嗣沖則在重病中，段芝貴只是袁世凱的寵兒，經不起考驗，上不了戰場。皖系的將領簡直拿不出一個人物，數來數去還是只有徐樹錚像樣，所以段祺瑞在重要關頭便離不開小徐。
局勢一天比一天緊張。6月16日曹錕電請解除川、粵、湘、贛四省經略使。
6月17日徐樹錚由庫倫返抵北京，暫時放棄他「西北王」的事業。