吳佩孚在南陽越住越不是味道，南陽部隊不穩，駐紮老河口的張聯升也不可靠，赫赫一世的吳玉帥頓然有茫茫大地，走投無路之苦，想來想去還有一個人可找，就是在四川的楊森。楊森也是一個血性男兒，一向對吳非常敬佩，在這人情冷暖世態炎涼的時候，如果不是一個血性男兒，對吳去投奔是會閉門不納的，吳把這個主意和於學忠商量，於頗不同意，因為（一）去川路途遙遠，經過老河口時，張聯升不會放行，（二）四川雖是天府之土，但非北人立足之地。吳認為於所講的也有道理，因此改了主意，打算由駐馬店跨過京漢線直趨安徽，可是最後仍決定入川。
16年6月19日，吳離南陽到鄧縣，會合於學忠，決定進川之行期及路線，乃發覺於已投奉，改稱安國軍第廿軍軍長，吳初聞不以為真有其事，到出發日期，於避而不見，吳始信之。唯於所部師長，受於欺騙，頗有怨言。吳出鄧縣30里，據報前方有軍隊阻截，遂在一小村莊地名田營暫停，派探查明，繫馬廷福、楊織雲兩師在前方築戰溝，未久，楊、馬兩師長皆來謁見，報告奉軍長令挖戰溝，謂大帥已過去，後來任何軍隊，都不准通過，適才得悉大帥尚未出發，恐有誤會，特來報告。這顯然是於學忠不願吳赴四川的詭謀，以掩飾無背主作竊之醜行。他傚法靳雲鶚在漢口之故事，逼吳下野。於學忠與吳同裡，追隨吳十餘年，由營長提升到軍長，吳素依為心腹，臨事卻不如路人。
吳見形勢有變，乃告於部暫駐原防待命，不必跟進，是日在田營宿營，襄陽鎮守使張聯升（系吳舊部）派人來聯絡，並商討渡襄河問題，決定在老河口與樊城之間太平店渡河，船隻及掩護部隊，由來負責部署。原來由田營去太平店有兩條路線，如果經太山廟是大路，遠五里；經溝陵關，近五里。乃決定走大路，衛隊旅第一團先出發，第二團隨本隊行動，後因各路皆平靜，本隊遂改走溝陵關。出發時秘書長張其-所乘之馬，忽狂跳不肯向前。張怒，連鞭之乃就道，正午到溝陵關午餐後，地方耆老持紙求書，吳不忍拒，遂一一為之書寫，時在午後2點，南岡忽傳來斷續槍聲，時張其-不耐久等，同秘書處人員先行出發。吳恐有差失，急催部隊前進，約行三里地名灰店舖，果然發現驚人慘劇，張已遇難身死。部隊散開，遍地搜索，不見敵人蹤跡，後經地方人士報告始知系樊鍾秀匪部，誤以為商旅，欲行打劫財物，未及搜檢，大隊已到，乃呼嘯而去。吳見老友慘遭橫禍，撫屍大慟，命地方士紳代購棺木成殮，浮厝關帝廟內，是日乃在附近村莊宿營。
張其-字子武，廣西桂林人，進士出身。清末任零陵、芷江縣長，統領南路巡防隊，辛亥革命後擔任湖南軍事廳長，和譚延-意氣相投。民國8年段祺瑞對湖南用兵，吳佩孚率第三師進駐衡陽，與張所率湘軍對峙，張和吳訂交就自此始，譚、吳休戰協定就是張其-從中牽線，吳佩孚的衡陽撤軍通電據說乃是張的手筆。從此吳、張成為莫逆之交，而張也投入吳幕。
吳對部下向來不假辭色，雖手握重兵大將如馮玉祥、王承斌之流見到吳亦只能筆挺地站著，雖做過吳的老師如蔣雁行、李成霖之輩見到吳亦只能唯唯聽命，而吳對朋友則以老大哥自命，呼齊燮元為撫萬老弟，孫傳芳為馨遠老弟，趙恆惕為炎午老弟，楊森為子惠老弟，獨對於比吳小好幾歲的張不稱子武老弟而呼省長，吳對部下如果說：「去請省長來」，就是指的張。11年6月18日黎元洪再度做總統時任張為廣西省長。他是一個傳奇人物，中年自號無竟居士，堂名獨志堂，熟讀《墨子》和《莊子》，著有《墨子通解》，又精研奇門遁甲、六壬。吳佩孚投軍前曾在北京崇文門外做過賣卦先生，因此對於張的博學多才，精通術數更為敬重。
張在吳幕是客串，由客串正式加入班底，不在吳虎視洛陽，如日中天之時，而是在馮玉祥倒戈，吳由天津出海泛舟之時。
據說：張曾算出他自己在16年有一大劫，那年初，吳在鄭州曾派易克皋赴郾城與靳雲鶚接洽時，恰值有奉軍將渡河襲鄭的謠言，易向張告辭時，淒然說：「此別不知後會何時？」張亦淒然說：「也許沒有後會之期了，我自己流年不利，玉帥亦在坎坷中，我自己最安全的辦法是回上海閉門著書十年，逃過劫數再說，但我又不能棄玉帥於危難！」當吳由鄭州到鞏縣，再由鞏縣南行到南陽與於學忠會合時，張欣然向人說：「好了，我大約逃過劫數了。」怎知張雖然算出了大劫，卻又算錯了，以為自己已經過了劫數，實則是在劫難逃。
張本人個子很高，雪白臉孔，五柳長鬚，夏天穿一件闊大的夏布長袍，搖一把精緻的鵝毛扇，使人想到《三國演義》上羽扇綸巾的諸葛孔明。他常常不在床上而喜歡在籐椅上睡覺。民國時代以奇門遁甲著名於時的，當推張其-了。他確可算近代一奇人。
張其-和譚延-在清末即已訂交，兩人亦是把兄弟，氣味相投，惺惺相惜。張隨吳佩孚落荒而逃時，譚延-是國民黨的重要領袖，正在漢口。由於國民黨寧漢分裂，因此譚僕僕於南京、徐州、鄭州、漢口之間。張的噩耗傳至譚的耳裡，已是6月下旬，他立即托方振武前往照料，並料理他身後事。
張的靈柩於9月1日抵上海，11月28日葬於蘇州的南鄉。譚的哭張子武詩，真情流露，至為感人，輓詩如下：
一別真投筆，三年負枕戈，有書常不達，無命欲如何？生死交情見，孤寒涕淚多，裹屍余馬革，淒絕向江沱。
辛苦依人計，艱危壯士風，前知傷郭璞，從事異臧洪。未必謀身拙，仍憐殉友忠，縱橫湖海氣，今日竟途窮。
少年曾並轡，中道各揚鑣，鷹隼飛常厲，驊騮意苦驕。多才成負負，同好已寥寥，頭白誰相慰，羈魂不可招。
夙昔誰知己，平生誤感情，家惟瓶粟在，篋有謗書存。志事兼儒墨，思心托夢魂，冤親同一盡，慟哭更何言。
吳佩孚失去了老友張其-已夠痛心，可是更淒涼的，還在後面，原來襄陽鎮守使張聯升不遲不早就在吳佩孚假道前已奉到馮玉祥的委任狀，6月21日馮委張為第卅八路總司令，他的就職通電有「待罪之身，……受寵若驚」之語。
吳要假道入川，張暗暗欣喜，想活捉吳立一大功。他假惺惺地對吳的代表說：「馮總司令要捉吳玉帥，我不能不服從；玉帥是我的老長官，我又不能下手。想假打一仗，做個樣子，請復告玉帥放心好了。」
吳率敗兵於6月24日中午到達太平店，第一團已先到，正調集船隻，午後第一團先渡過襄河，在對面掩護，第二團及本隊剛上船，四面槍聲大起，乃馮玉祥部葛金城旅，奉馮玉祥令截擊，即張聯升口中所謂掩護部隊。當時河中船隻，驟然慌亂，第一團已登陸，向東岸還擊，致使自己部隊亦無法站腳，敵人隱避在樹林中或高粱田里，更無法對抗。約一小時之紛擾，吳與夫人及隨從人員，均已上岸，計有三隻船沉沒，死於水者百餘人，傷者十餘人，副秘書長張佐廷腿部被傷，不能行動，著地方人畀送樊城就醫。吳渡河後，徒步行十餘里即宿營，截擊部隊亦未尾追。
張聯升於7月3日以江電向馮玉祥報告「圍剿吳逆經過」。
吳佩孚決心從鄂北的小路入川，當時楊森部已由宜昌退巴東，吳乃選擇取道保康、秭歸、興山入川，這是一條荒僻山路，除了土匪，普通人跡罕到，有時無路可走，須從這座山頭翻到那座山頭，仰攀俯爬，艱難有如三國時鄧艾偷渡陰平，有時以草根樹皮果腹。響導人是土匪眼線，每過匪寨，吳命響導人持一張大紅名片，上書「吳佩孚」三字，高舉手中，公然竟能通過。蜀道難於上青天，吳佩孚這時可說是已經親身經歷了。
有一天，走到一處地方，叫黃柏坪，地面稍為寬敞，有幾戶人家，一個老道觀有點麵粉和綠豆，主人就全拿出來供客。白麵餅，綠豆湯，自然是幾天以來最豐富的一次午餐，飯還沒有吃完，追兵又跟上來，手榴彈響了，接著就是一排輕機槍聲，可是沒有傷著人，山上下來一匹馬，舉著一面白旗，吳端著一碗綠豆湯，手裡拿著一張餅，由廟裡走出來，嘴裡的餅還在嚼著，問來人是幹什麼的，來人便舉過一封信來，大意是「請大帥不要走了，四面都已包圍，即刻交出隊伍，如不聽勸告，後果無人負責。」這封信看完了，參謀長蔣雁行流著淚說，咱們總算對得起國家，就是到南京去，也不會有什麼危險，如果這樣向外衝，必有大禍。吳聽完，當時大怒，兩隻黃眼睛，像冒出火來一般，用手將蔣雁行推開說，跟我走，我不知道什麼是大禍。說罷即首先向山路前進，隊伍留一小部分在後面掩護。送信人如木雞一般閃在一邊，吳全部走後，他才回去報告。一小時之後在半山腰稍停，等後面部隊完全到達又沿著山路攀緣而上，是夜宿於山上。追兵沒有襲擊。
吳佩孚歷經萬難由黃柏坪到歇馬河，到馬良坪，到巫山界嶺，7月13日越秭歸抵巴東。這一帶都是楊森的防區，楊部旅長賀國權迎吳於歇馬河，並電告楊森云：「吳公偕其少數侍從人員及衛隊約五千人已安抵馬良坪，權聞訊曾馳赴歇馬河面謁，渠欲來川一遊，可否接待？請示辦法！」
楊森這時已受任國民革命軍第廿軍軍長，不過吳還不知道楊森易幟，但楊公誼私交分得很清楚，他並沒有落井下石，俘吳為自己立功打算。所以他復電賀國權命他妥為接待。一方面電呈南京蔣中正，謂吳狼狽退川，志在江湖，准吳入川純出私誼，保證吳息影林泉，不問政治，如有軌外行動，願負全責。另方面並向四川地方將領疏通。同時派第一師師長白駒及前任四川省財政廳長熊煜星夜乘輪赴興山界嶺迎迓，並請吳暫以奉節縣白帝城永安宮作為吳的行館，由賀旅護衛。吳的舊部這時紛紛間道來歸，連文武官佐兵士眷屬，為數逾五千人之譜。
7月15日楊森諧妻子暨高級將領數十人，由防次萬縣乘兵艦直駛巫山迎吳夫婦，同乘艦溯江而上，入瞿唐峽，泊白帝城，至永安宮。楊對吳說：
「國民革命軍北伐必然成功，玉帥高風勁節，自放江湖，既不願屈居租界寄外人籬下，又不屑氣國際勢力，滋長內亂，不如通電各方及州中將領，表示光明磊落的態度，宣佈入川純係遊歷性質，決不作政治活動，如此可釋川人的疑懼，又示天下以坦誠。」
吳佩孚對楊森這第二位患難知己（第一位患難知己是趙恆惕），有一種特別感情，加上他今天自身的潦倒，他欣然接受楊的建議。
吳佩孚接受楊森的勸告，乃發表號電，這是吳失敗後一封著名的不聞理亂，表明心跡的電報，電云：
「萬縣楊惠弟鑒：舉世滔滔，亂靡有屆，欲資遊憩，名勝為宜。因念蜀中山水，半屬舊遊，而蜀中將士又皆舊雨，業於號日間道抵夔，暫憩此間，專事徜徉，不聞理亂。甫澄、積之、晉康、自干、德祥、頌堯諸兄處及各師旅長等，乞弟為之道意。一俟秋涼，溯江而上，再續舊歡。特電奉達，即希注察。小兄吳佩孚。號。印」。
楊森即根據吳的號電，分電四川中各將領：
「特急。重慶劉總指揮甫公，賴軍長德祥兄，綏定劉督辦積公，成都劉軍長自干兄，鄧軍長晉康弟，三台田軍長頌堯弟，暨各軍師旅團長諸兄鈞鑒：頃接吳玉老號日由夔來電云云。竊玉老自解除兵柄後，久已厭棄時事。此次挈眷到川，純係遊歷山水，並無政治作用。森擬俟其暫駐夔門稍事憩息後，或當送往西行。諸公均屬袍澤舊誼，當不讓弟獨為東道主也。楊森。養。印。」
儘管吳表示不聞理亂，可是那有攜帶五千隨從和兵馬遊山玩水的道理，所以吳的號電發出，楊森雖然為之呼應，但各方反應卻並不佳。中央對吳雖予以寬大待遇，不過責成楊森要把吳的武裝部隊解散，而川人則認為供應吳和他的家屬及少數隨從不成問題，卻不容以四川資財供養客軍。楊並不想繳吳的械，但事實上又非繳不可，想來想去只好以緊縮為由勸吳裁兵，一次不聽，再勸三勸，吳都不點頭，且忿然說：「當年擁兵數十萬，如今世衰事易，只留下五千老弱跟我東奔西走，我何忍解散他們！」
當吳在最潦倒落魄的時候，日本第一遣外艦隊總司令荒城二郎少將，海軍駐滬特務機關長佐籐秀大佐率將佐十五六人由宜昌乘小型艦到白帝城，專誠拜訪落魄的吳大帥，表示（一）願供給私人借款100萬，（二）願贈步槍10萬支，小炮500門，機關鎗2000挺連同彈藥，由小型艦艇運來白帝城。這對於有意東山再起的人自然是一個大誘惑。可是對吳佩孚這位硬漢，則毫不發生作用。
吳義正詞嚴地對日本人說：「過去我有槍不止十萬，有錢不止百萬，尚且一敗塗地，可見成敗是不在於槍炮和金錢，我如果願意借外債，引外援，何必待到今日。中國事應該由中國人自了。貴國貴官的盛意我是不會承受的」。
吳佩孚這次入川，艱苦萬分，真是九死一生，對於一位百戰老將，還沒有什麼，可是他的夫人張氏，卻印象恐怖；尤其是張其-之死，以及偷渡襄河的槍戰，當時張氏即有投襄河自盡之意，經吳佩孚百般勸阻，好說歹說，其意始解。此後跋涉窮鄉僻壤，吳雖泰然，但有內顧之憂，張氏夫人曾一再向吳表示，受不了這種擔驚駭怕的日子，縱不求死，但願削髮為尼。且勸吳從此下野，不問世事，入名山為僧以保餘年，淚隨聲下，吳亦為之動容。吳的感慨可從他兩句詩中道出：「生死兩難悲末路，夫妻垂老泣牛衣。」這兩殘句，未見全詩，大約因為詞句太過悲慘，故意不留。另有入蜀詩一首，亦道出英雄末路之哀，詩曰：
曾統貔貅百萬兵，時衰蜀道苦長征，疏狂竟誤英雄業，患難偏增伉儷情；楚帳悲歌騅不逝，巫雲淒咽雁孤鳴，匈奴未滅家何在！望斷秋風白帝城。
還有《白帝城懷古》一首：
落日荒城剩野蒿，參天古木樹旗旄。君臣遇合歡魚水，禪術分明非俊豪。祚運只教歸在漢，河山那肯署為曹。江聲不盡英雄恨，流到瞿塘浪湧高。
吳自覺在白帝城易惹各方注目，為了解除東道主的困難，甚盼移居萬縣，可是楊森不以為然，因楊自己駐節萬縣，吳來了，自己很難處。
17年初，楊同意吳移居大竹，吳遂西行經萬縣，受到楊森的盛大歡迎。