吳佩孚在天津車站這幾天，直軍情況更陷悲慘境地，至11月2日止，胡景翼部的先頭部隊已進入楊村，直軍不戰而退，灤州方面直軍在撤退中潰散，唐山一帶更是悲慘，日本方面消息，張宗昌一心一意想活捉吳佩孚，取其頭顱。吳的日籍顧問岡野增次郎獲得吉田茂的通知，日本政府願協助援救吳的性命，所以吉田茂主張吳立即遷至日本租界，可是吳佩孚在這一點上非常堅持，決不在兵敗後托庇租界。
11月2日楊村不守，馮軍由北倉逼近天津，吳在列車上假寐片刻，吳的左右不由分說，把火車開回老站，吳醒後大怒，連聲說：「誰要我上租界，我便要誰腦袋。」
吳同時向岡野增次郎說：「戰敗逃入租界苟全性命，是我所最不齒的，也是一個國家大員最丟國家顏面的行為，我決不做這種我生平最反對的事。設若不幸，我寧玉碎於此，也不願托庇租界以謀瓦全。日本政府對我的好意和足下奔走的熱忱，我是永矢不忘的。」
吳的左右見吳這麼堅決，只好面面相對，偷偷耳語，大家都瞭解局勢萬分嚴重，不上租界就是死路一條，可是吳佩孚卻處之泰然，大家不由疑竇叢生：「孔明先生兵敗時還有一套空城計，咱們大帥是打的什麼主意呢？」
吳好像看透了左右的心事，他慷慨悲壯地說：「我留在天津，看煥章（馮玉祥）把我怎樣。」
馮玉祥會怎樣？答案很簡單，他既然敢倒戈，什麼事情做不出呢！吳要留在天津就得做俘虜，不做俘虜只有自殺。吳的幕僚個個急得如熱鍋螞蟻，又不忍心丟下吳自尋生路。
在吳身邊，有海軍部軍需司長劉永謙（字六階），他鼓著勇氣對吳說：「我替大帥已經準備了一條軍艦，不如我們把車開到塘沽，棄車登船。」
這是死裡逃生的唯一之路。原來渤海艦隊司令溫樹德早與奉系勾結，把艦隊帶走，劉永謙則和華甲運輸艦艦長為知己交，他在局勢惡化時就安排了這條船，以待最後關頭載吳脫險。他確知馮軍和胡軍都已距天津十里，千鈞一髮，所以硬著頭皮勸吳「乘桴浮海」。
吳這時真是英雄落泊，窮途末路，不禁流下了眼淚，黯然說：「我今天是敗軍之將，雖屬運窮命蹇，自念尚不是可死之時，只有收拾殘兵，浮海南下，先至青島體察形勢，再定行止。」
13年11月2日晚，吳佩孚接受劉永謙的意見，決定由塘沽登舟，他命令在身邊的參謀長張佐民，作各種撤走準備。
晚上10時許，接到胡景翼先鋒已迫近天津的消息，事迫燃眉，因此火車頭遂升火待發。這時候，停留天津總站的總司令部列車有頭等車廂30餘輛，和兩周前討逆軍總部出發北京正陽門赴山海關時一樣，可是吳總部已大半數潰散逃亡，僅少數忠義之士和若干衛兵隨吳共患難。當晚11時左右，吳下令開車，火車駛出天津總站，向塘沽行進，3日晨5時，車抵塘沽，幸好塘沽尚無敵軍蹤跡，不過直軍敗兵卻有不少麇集在塘沽車站和碼頭上。
華甲艦有5000餘噸，原是德國軍艦，因為太大，不能靠岸，所以要乘小輪轉赴華甲。吳等一行到大沽港已是上午9時，登上華甲艦，在艦上已有敗兵無數，聚集大廳中，吳和左右只好轉入船尾餐廳。
吳在艦上立即召集文武幕僚20餘人，商議今後步驟。兵敗之餘，窮無所歸，與會人士面面相覷，真不知從何說起。座中有吳所器重的張其-，執筆草擬了五條意見：
一、取消武力統一中國之政策。
二、改變御下態度，寬容政客要人，苟有主張之士，雖政敵亦應敬重之，尤不可加以斥罵。
三、放棄洛陽根據地，另行選擇據點。
四、親賢遠佞，起用新人才。
五、籌款300萬元為經費。
吳表示除第三條外，均可接受。這五點意見，做為吳的一個幕僚來說，是很突出而大膽的，但也是必需的。在吳幕僚中，吳對張其-最刮目相看，張是廣西桂林人，字子武，中年自號「無竟居士」，幼年家貧苦讀，光緒三十年中進士，由縣長轉任湖南巡防隊統領，民元譚延-都督湖南，張與譚友善，所部改為南武軍，張任統帥，後任湖南軍事廳長。民國11年春，黎元洪總統任張為廣西省長，加陸軍上將銜。張和吳訂交在吳首次南征時，張守永捍，以手書致吳陳利害，吳為之折服，遂結為異姓兄弟。吳對部下從不假辭色，獨對張最親敬，尊稱省長而不名。
張博通經史，尤精於奇門遁甲，當時傳說張能呼風喚雨，知過去未來，這當然過於誇大，可是張是一位傳奇人物則是事實。他和吳佩孚相得益彰，水乳相融。
13年11月6日下午7時，吳佩孚率領敗軍乘華甲艦駛離大沽口，他在大沽口華甲艦上留了三天，想聽聽有沒有意外的好消息，同時收拾殘兵。
在這個時候當然不會有好消息，吳聽到的都是一連串極壞的消息，才下決心浮海而南。可是時移勢易，世態炎涼，這時山東的鄭士琦已宣佈中立，拆毀滄州、馬廠間軌道以阻潰兵，同時嚴令山東沿海口岸，拒吳登陸。吳艦過青島時，溫樹德只派人送了食物，卻不歡迎靠岸。11月12日吳艦由吳淞入長江，14日過南京，齊燮元曾登艦與吳一晤。南通名士張謇則派專人送上一封慰問信：
「子玉將軍麾下：將軍為國家而戰，為主義而戰，戰不足為將軍罪。將軍之敗，敗於內奸與外謀，敗不足為將軍辱。下走平日雅重將軍，今以將軍之敗，愈增敬愛。時難方殷，願將軍為國珍重，少飲酒勿任氣，將軍幸甚。國家幸甚。」
信末還附一詩云：「壯語招時忌，斯人實可嗟，一舟成敵國，四海欲無家。治易劉中壘，能軍李左車，盈謙有消息，尺蠖即龍蛇。」吳讀了此函及詩，流下了英雄淚，低沉地說：
「季老真是窮途知己。」
吳佩孚一行於13年11月17日抵達漢口，這時齊燮元等已宣佈對北京獨立，所以吳佩孚一抵漢口就發表筱電組織護憲軍政府。湖北督軍蕭耀南是吳所提拔的，他以為蕭當然完全聽他的指揮，因此他想聯合長江各省對抗北方。
護憲軍政府所揭櫫者為：「……合法之國會政府不能行使職權，憲法完全失效……亟應聯合建設護憲軍政府，以為對內對外之機關……自馮軍入京之日始，北京……之令，一概無效，所有征討大計，惟護憲軍政府是屬」至於所擬定之護憲軍政府組織大綱十條，大要為：
一、護憲軍政府因……合法之國會政府不能行使職權，憲法完全失效，聯合同志各省組織之。
二、護憲軍政府設於武昌。
三、護憲軍政府代表中華民國，執行對內對外一切政務。
四、護憲軍政府根據法律元首為海陸軍大元帥之義，於大元帥之下設置元帥，凡各省區之巡閱使，督軍、督理、督辦、都統海陸軍總司令皆為元帥。
五、元帥采合議制設元帥會議行之，元帥會議設正副主席各一人，由各元帥互選之。
六、元帥不能出席會議時，得派代表一人代行其職權。
七、護憲軍政府於元帥會議之下，設內務、外交、軍政、財政、交通五部，每部設部長次長各一人，其組織及職務另定之。
八、護憲軍政府至憲法效力回復護憲目的完全達到之日，應即撤銷。
九、本大綱有未盡事宜，由元帥會議隨時改之。
十、本大綱自宣佈之日施行。
列名「筱電」的是齊燮元、孫傳芳、蕭耀南、劉鎮華、吳佩孚、杜錫圭、馬聯甲、蔡成勳、周蔭人、薩鎮冰、張福來、李濟臣、劉存厚、劉湘、楊森、鄧錫侯、袁祖銘、黃敏成、金漢鼎、林虎、洪兆麟等21人，包括蘇、浙、鄂、陝、皖、贛、閩、豫、川、粵十省和海軍。可是代表粵軍的林虎和洪兆麟立即由上海的粵軍代表通電否認。齊燮元雖是領銜的，亦對護憲軍政府不表同意。11月19日江蘇省長韓國鈞竟通電反對護憲。至於孫傳芳、蔡成勳、蕭耀南、劉鎮華則在復韓國鈞的電報中表示組織護憲政府通電，事先並沒有完全同意，此後當另圖補救。而湖北的蕭耀南也有暗示，不歡迎吳佩孚留在武漢。13年11月19日吳佩孚黯然離開了武漢，乘京漢火車經鄭州徑返洛陽。
洛陽是吳佩孚的根據地，吳既然回到洛陽，反吳的人認為這是縱虎入山，非常不安。吳在河南，召集他的舊部，積極佈防，並在鄭州設立護憲軍前敵總司令部，11月23日河南紳民張鈁等在鄭州組織弭兵會，反對河南變成戰場。這時候胡景翼南下的部隊已在京漢線和吳軍開火。
段祺瑞入京就任臨時執政後，11月24日吳致電段，表示贊成其應付時局的方針，勸段不要受張作霖和馮玉祥的愚弄。段祺瑞也有意在吳患難時拉一把，用來對付張、馮，可是又怕吳真的借屍還魂後不聽差遣。所以陽示對吳拉攏，電稱可以阻止胡景翼軍前進，卻暗中電令西北方面的閻錫山、劉鎮華、陸洪濤、吳新田全力圍攻吳佩孚。
12月1日吳佩孚、胡景翼的代表正在開封召開和平會議，停戰議和。突然陝軍第二師長張治公、第三十五師長憨玉琨聯合山西軍隊發動偷襲洛陽，向吳提出哀的美敦書，限其即日離境。吳素高傲，對憨部的變動本不重視，下令備戰。不料吳的命令竟不能下達，部下亦不接受命令，這時憨的第二次哀的美敦書又來了，吳乃倉促離開洛陽，先到鄭州，怎知在鄭州還未落腳，又接確報，胡景翼部自北方開來，吳只好匆匆南下信陽，寄寓信陽的道尹衙門。2日晨吳偕數十人乘火車離開信陽。這時又收到蕭耀南的通電，拒絕吳率部入鄂，並勸吳下野。吳只好在新店下車。吳部寇英傑守彰德，為了表示對胡景翼讓步，曾後撤50里。
4日吳電段祺瑞，表示擬入雞公山養病，不問世事。蕭耀南電吳，願意送路費，請吳出洋，吳閱電大怒，立予拒絕。
憨玉琨率軍東追，豫督張福來被迫離豫，把河南督理印信交給省議會。李濟臣退守許州，寇英傑奉蕭耀南令退保武勝關，阻潰軍入鄂，鄭州情勢混亂，第二十四師毀黃河鐵橋阻胡景翼南下。
吳軍南撤，憨玉琨率軍尾追，12月5日憨軍占開封、鄭州，胡景翼部渡河南下，被憨軍拒阻。6日，吳佩孚上雞公山。
雞公山是很著名的，它位於河南湖北兩省接壤之地，蜿蜒數十里，峰巒相接，形狀奇特。山的頂端有如報曉的雄雞，故名雞公山。豫鄂人爭傳雞公山可呼風喚雨，實則雞公山屹立中原，介於南北之間，登山可窮千里之目。山上夏天很涼快，冬天很暖和，可以避暑，外國傳教士在山上蓋了教堂，而有些人則修築別墅。有錢的人多來自武漢，山上還有一條小街，也有醫院、學校、運動場、郵政局、警察局等等。
12月的天氣，山上一片冬景，霜滿山徑，雪蓋遠峰。吳登山後借寓河南第十四師師長靳雲鶚的別墅。
吳佩孚上雞公山後，雞公山又變成全國注目的一個地方，而他不只是生了病，同時頭髮也白了。形勢影響於人之大，於此可見。在吳佩孚來說，他過於自傲，對左右不假詞色，崖岸自高，不同流俗，這些都可以說是他的長處，但也是他的短處。無論如何，在當時北洋軍人中，吳不愧是個奇男子，曹錕賄選他不贊成，曹家在北京胡作非為，他也不同意，然而直系悲劇的苦果，卻是要他一個人吞下。
吳當時氣不能平的，是他如果在戰場上戰敗，還想得過，可是他這次失敗，是因為馮玉祥倒戈，同時曹家兄弟不爭氣也是基本原因。第一次直奉戰爭，奉系戰敗後還可以退到關外，閉關自守，發憤圖強；這次直系失敗，幾乎和皖系一樣，一敗就不可收拾。而直系的大將都自顧自己，寧願讓人各個擊破。吳佩孚在這樣情況下怎不痛心疾首呢。
段祺瑞對吳佩孚也有深惡痛絕之感。因為段前此垮台，幾乎完全垮在吳的手中，吳從駐防衡陽時代，以一個小小的師長，竟向段挑戰，從此聲望一天比一天高，力量一天比一天大，最後發動直皖戰爭，一舉擊潰皖系，段只好在天津息隱。
如果不是這次直系垮台，段怎麼能重上北京的政壇。
然而政治上沒有絕對的恩怨，政治形勢可以把昨天的敵人變為今天的友人。段這次是在奉系和新起的國民軍兩大勢力支持下出山，自己無拳無勇，也就無足輕重，處於兩大勢力之間，段的臨時執政日子並不安逸，段總想建立自己的力量，可是皖系軍隊已煙消雲散，安福系又是臭名揚溢，既無可用之將，又無可用之兵。
有人向段建議重用吳佩孚，在吳窮無所歸時，拉吳一把，使吳為段所用，只有吳還可以對付張作霖，尤其對馮玉祥有抵消作用。段也為之動心，不過對吳不敢相信。在吳佩孚來說，他自況關羽，義不帝曹，所以他可能演出過五關斬六將掛印封金，千里送嫂的故事，以標榜自己。在這種情形下，段、吳合作的可能性就太小了。
12月19日下午7時，湖北軍第一師長寇英傑上雞公山謁見吳，吳本打算以寇英傑率軍警備雞公山四周，並以信陽為中立區，緩和胡景翼軍南下，讓自己能在雞公山喘息。
然而胡景翼認為河南已是自己的轄區，怎肯在臥榻之旁容一隻老虎，他於12月11日在鄭州正式就豫督之職，逐走了憨玉琨，佔領了信陽，把吳佩孚的殘部4萬多人繳械，同時通知吳佩孚請他離開雞公山。
12月28日吳佩孚帶病下雞公山，向湖北進發，可是湖北人也拒吳入境，破壞了路軌，阻吳的火車，吳被迫在廣水下車。
吳佩孚入洛陽，上雞公山下雞公山，走遍了半個中國，茫茫大地竟無容身之所，昔日他被人歌頌，被人擁護，如今則被人驅逐，被人擋駕。
在患難中才看得到知己。當他窮無所歸時，湖南趙恆惕伸出了友誼之手，敦請他前往湖南。而四川的楊森也派人來迎迓他。
吳佩孚和趙恆惕，因對敵而惺惺相惜，由此訂交。吳吒叱風雲時代，趙在湖南和吳並不步調一致，吳一心要用武力統一中國，趙在湖南則主張聯省自治，趙的聯省自治是吳所反對的，然而吳、趙的交情卻毫不受影響。現在趙邀請吳假道湖北前往湖南。
湖北的蕭耀南是吳所提拔的，現在蕭卻有禮貌地拒吳，甚至吳想假道湖北去湖南都很困難。當吳在廣水因鐵軌遭破壞，被阻前進時，川督楊森的軍務代表劉泗英來謁，自告奮勇願意先到武漢去遊說蕭「緩段全吳」，吳欣然同意。劉泗英到了武昌，逕赴督署，蕭對來客表示自己不會做馮玉祥第二，不過為了保全武漢，請吳不要留在湖北。同時決定三個要點：一、請吳不要駐岳州，改駐黃州。二、吳的衛隊以兩營為限。三、所乘兵艦決川號和浚蜀號的武裝解除，僅供作為交通工具和自衛。
14年1月1日，吳佩孚率領衛隊抵達漢口大智門車站，宣言不入租界，留住火車中。這時候湖北公團向蕭提出請願，要蕭勸吳離開湖北。2日蕭耀南撤回駐防岳州的湖北第二十五師部隊，以岳州還湖南，趙恆惕即派鄒序彬為岳陽鎮守使，率部前往接防。4日晨吳佩孚至湛家磯，改乘決川、浚蜀兩艦，東下黃岡，泊赤壁下，不登岸。川、湘、黔各省代表均在船上，大家合拍了一張照片，密訂川湘聯防條約。5日，抵黃州，即在黃州住了下來。立春日吳偕僚屬游靈泉寺、陶侃讀書處及其他名勝，均有吟葉，好整以暇。現在抄吳當時的幾首詩——
（初至黃州，走筆雲史）為謀統一十餘秋，歎息時人不轉頭；贏得扁舟堪泛宅，飄然擊楫下黃州。
（赤壁春望書示雲史）戎馬生涯付水流，卻將恩義反為仇；與君釣雪黃州岸，不管人間且自由。
（黃州早春登城）兩字功名百戰哀，江山無改此登台；舉杯獨酌看周易，樊口江魚下酒來。
黃州距離武漢只有120里，當時變成了冠蓋雲集之地。段祺瑞也奈何吳不得。蕭耀南看到吳的潛力不可侮，段的勢力不覺畏，對吳的態度也和緩多了。然而吳已飽嘗世態炎涼的滋味，湖北各團體對吳的稱呼就變了三次，開始是「大帥」，後來是「玉帥」，最後則直呼子玉。更且發起「拒吳保鄂」。
蕭耀南有他的苦衷。第一怕胡景翼軍以捕吳為借口而開入湖北。第二段祺瑞派了代表坐守督署，天天逼著蕭要把吳押解入京。同時蕭也怕吳的部屬在湖北活動，所以曾貼出一張皇皇的佈告：「吳上將軍表示下野，倘有假上將軍名義號召黨徒者，惟有執法以繩。」他也發出通電：「倘有野心家侵犯鄂境，定即率我師旅，相與周旋。」這是對付胡景翼的。
吳到黃州後，蕭也有微電通告各方：「吳前使來鄂，奉執政電喻，勿任或往他處，以靖人心等因。吳使鑒於各界環請之誠，即於江日乘輪離漢，不問世事。我執政保全將才及吳前使遵守和平之旨，俱可昭示於天下，垂美無窮。耀南奉命周旋，公誼私交幸獲俱盡。」這篇文章真算「好手筆」。
吳佩孚在段祺瑞和張作霖眼中，是一個仇人，可是形勢變了，馮玉祥的崛起和倒戈，讓段和張同具戒心，他們都有用吳制馮的動機。所以張作霖曾對報界談話說：「過去懸賞緝吳，純為軍事行動，現在軍事行動終了，對待敵人的行動當然也中止，對吳如何處置，作霖概不過問。」
段很想把吳請回北京，如用他不讓他離得太遠；如不用他，在北京更可放心。王揖唐討了這個差使，王覺得段的手下能和吳打交道的，除了自己沒有別人，過去王任南北議和北方總代表時，吳反對最烈，可是現在王已榮任了皖督，自己覺得身份不同了。
14年2月25日，王揖唐到了黃州為段做說客，勸吳自動入京，有話當面談，前罪一筆勾消。吳待王以貴賓，從黃鶴樓談到赤壁，天一句地一句，始終不正面談政治問題，一連幾天，越談離題越遠，王揖唐看看無可再談了，乘興而來，敗興而去。
王揖唐之行沒有結果，段祺瑞認為既然軟來不行，就只好硬來了。密令海軍司令許建廷率領長江艦隊八艘前往黃州，希望能一舉擒吳，同時對蕭耀南也有興師問罪之意。段派在湖北監視蕭的，是曾任第三師第五旅旅長張學顏，張的現職是蕭的參謀長，他和吳有過一段不愉快，脫離了直系而投奔皖系。
湖南的趙恆惕繼續向吳勸駕，正當吳有離黃州之意時，趙來了一個電報，情意殷切，內稱「湘為舊遊之地，盍興乎來，願掃榻以待。」
吳在窮無所歸時，得到趙的電報，深為感動，喟然歎曰：
「炎午真夠朋友。」
吳和湖南之間，是敵是友，論主張是敵人，因為湖南是獨立省份，直系稱霸時代，湖南是不聽命令的；可是吳和趙之間，從吳在衡陽駐軍起，兩人訂交，深相契結。最妙的，是湘人堅拒北軍駐境，現在自動把吳從湖北接來，假使當年吳在湖南逼湘人太甚，今天就不會有這個結果了。
吳決定赴岳陽，在吳心中，岳陽是他的發祥地。第一次入湘時，他脫穎而出，成為北洋軍中一顆彗星。第二次入湘時，他扶搖直上，成北洋軍中一枝獨秀。第三次入湘時，則逼趙軍簽定城下之盟，他那時兵力本可完全佔領湖南，可是因為他敬重趙恆惕，所以只簽盟退軍。現在是他第四次入湘了，他卻窮途無依，托庇於湘。
段派海軍偷襲吳的計劃，前海軍司令杜錫-獲知急電吳，這是14年3月1日午夜。吳接報立即採取緊急行動，率領隨從人員登上決川、浚蜀兩艦，大風雨中啟碇向湖南出發。吳的坐艦啟程兩小時後，許建廷所率的八艘軍艦才掩至，已被吳兔脫了。段獲知吳已離黃，急令蕭耀南加以堵截，吳當然想像到一切可能，所以過武漢的時候，兩艦燈光一齊熄滅，潛過武漢，蕭亦假裝不知，讓他鼓輪西行，抵黃金口，第十五師長陳嘉謨密置大炮於兩岸，掩護吳的座艦，同時宣言如海軍軍艦再上駛，岸上的大炮就採取攻擊，許建廷的八艦到了黃金口遂不敢前進。
吳佩孚於14年3月4日安抵岳州，岳陽鎮守使鄒序彬代表趙恆惕歡迎吳，吳自己留居艦上，眷屬住岳紳葛豪家，衛隊分駐天後宮一帶。
趙恆惕發表陽電迎吳：「國內互爭，皆緣政見偶異，並無恩怨可言。子玉果已解除兵柄，不妨隨地優遊，何必迫之僑寓租界？既非國家愛護將才之至意，尤乖政黨尊重人格之美德。」
趙恆惕迎吳佩孚到湖南，真是一種雪中送炭，患難知交的表現。趙本想請吳到他家鄉衡山去小住，然而吳卻在岳州，因為他不是真的放棄一切，他雖然願意寄人籬下，卻不能真的與世隔絕。
吳在岳陽不肯登岸，趙請他棄舟而陸，他亦不願。吳自浮海南下後，他的亡命生涯是在海上、山地、湖上、舟上、車上。處處有驚無險，而他不僅不願托庇租界，連陸地都有點懶於一住。
吳在黃州時，雖各方代表往來如織，但黃州是蕭耀南的轄境，蕭在名義上又是段的屬吏，在段、蕭的監視下，吳不能暢所欲為。現在到了岳州，岳州是趙恆惕的轄地，湖南又是獨立省份，不受北京政府的命令，吳受趙的歡迎而來，他除了對招待他的地主還有顧忌外，對北京政府可以完全不理了。
14年3月30日（農曆三月七日）是吳佩孚52歲的誕辰，這與他50歲在洛陽時代如日中天的氣象完全兩樣，可是仍然有八方風雨會中州的態勢。各方均派代表來祝壽，張作霖也派了代表。
趙恆惕送吳的壽聯是
平生憂樂關天下；
此日神仙醉岳陽。
這對聯如其人如其事，吳不覺撚鬚而笑了，亡命途中得到這樣知己，也可安慰。
7月23日（農曆六月初三）是吳的夫人張氏四十整壽，吳的朋友和部下也在岳陽大事慶祝，並且舉行堂會，演唱平劇祝賀，平劇上演前請吳點戲，吳拿起筆寫《過昭關》一劇。
吳的部屬用湘繡給吳送了一塊匾，上寫「東山再起」。
果然，吳很快就東山再起了。