16年6月下旬，北伐軍掃蕩魯南。張宗昌、孫傳芳重新整頓，於濟南會議決定乘革命軍兵力不能兼顧之際，反攻徐州。張宗昌之白俄軍乘鐵甲車猛攻，北伐軍雖英勇抗禦，終難扭轉形勢，7月24日退出徐州。
蔣中正為了實踐徐州會議時的諾言，遂於民國16年8月12日宣佈下野。
隨同蔣中正離開南京的，有胡漢民、吳敬恆、蔡元培、李石曾、張靜江等。蔣中正離京後先至上海，再轉返原籍奉化。
蔣中正於9月28日自上海動身赴日本，曾在東京發表告日本軍民書：
「不佞來游，雖為日尚淺，而觀於貴國國民對中華民族之觀念，無彼我之別，充滿平等之精神，已得極親愛之印象。貴我兩國之關係，孫先總理常以兄弟之國相許，相信貴國國民希望中華民族之自由與獨立，必較他國為更切也。然則貴國朝野如徹底諒解我國民革命運動，對之與以道德上精神上之援助，不利用舉國民所痛憤之軍閥，以阻撓國民革命之進行，斯即對我國民革命運動為莫大之助，同時且為兩國根本親善之要諦也。如是國民革命之完成，得使兩國益加睦輯，俾貴國在東亞之地位益形安泰。同時或得以貢獻於世界之和平乎！三民主義之國民革命，於民族歷史上革命精神上抑於世界思想趨勢上，必可完成。無論如何之強權，必不得永久抑壓阻撓之也。」
1月10日下午1時3刻蔣中正由日本返抵上海，國民黨第二屆中央執監委員乃齊集上海，於12月10日召開第四次全會預備會議，通過復任蔣中正為國民革命軍總司令，閻錫山、馮玉祥等亦推代表至上海促駕，國民黨更籲請汪兆銘發表宣言出國考察，並解散特別委員會。
元月4日，蔣中正由上海返南京，5日宣告復職，重組國民革命軍總司令部於南京三元巷。通電昭告全國，繼續行使國民革命軍總司令職務，除政治、黨務追隨中央諸委員共同負責外，同時秉承中央指導，專司軍令，俟北伐完成，即當向中央正式解職以謝去年棄職引退之罪。
元月8日國民政府特任蔣中正為北伐全軍總司令，以國民革命軍之作戰軍、國民軍聯軍之作戰軍、北方革命軍之作戰軍、航空軍之全部組織北伐軍，由總司令統轄指揮之。
北伐軍總司令蔣中正
參謀總長何應欽
第一集團軍總司令蔣中正（兼），總參謀長楊傑
（轄第一軍團劉峙，第二軍團陳調元，第三軍團賀耀祖，第四軍團方振武，總預備隊朱培德，炮兵集團陳誠，後方警備部隊錢大鈞，航空隊張靜愚，鐵甲車隊屠金聲。）
第二集團軍總司令馮玉祥，總參謀長劉驥
（轄第一方面軍孫良誠，第二方面軍孫連仲，第八方面軍劉鎮華，第九方面軍鹿鍾麟，騎兵第一軍鄭大章，鐵甲車集團劉自珍。）
第三集團軍總司令閻錫山，總參謀長朱綬光
（轄右路軍徐永昌，左路軍商震，中路軍商震，預備隊豐玉璽，炮兵集團周玳。）
海軍總司令楊樹莊，參謀長李景
（轄第一艦隊陳季良，第二艦隊陳紹寬，練習艦隊陳訓詠，魚雷游擊隊曾以鼎。）
同時軍委會另頒密令三則，分電蔣中正、馮玉祥、閻錫山、楊樹莊等遵照，其文如次：
「某總司令勳鑒：甚密，茲頒發密令如下：（一）北伐全軍以國民革命軍總司令蔣中正統轄之。（二）北伐軍之兵力，以國民革命軍之作戰軍，國民聯軍之作戰軍，北方革命軍之作戰軍，海軍之作戰艦隊，及航空軍之全部任之。（三）各作戰軍之經理衛生及野戰器具材料之補充，除照原有順序辦理外，由軍事委員會統籌補助之。」
蔣中正復職後，一面徵調第四軍繆培南部由粵入贛，方振武部自信陽開歸德，方鼎英部自粵經贛、浙轉蘇，錢大鈞部自粵經閩、浙入滬；一面令散住皖、贛、蘇、浙軍隊，準備出發。隨復於2月9日親赴徐州，召集各軍官長訓話，改編徐、海各軍為三個軍團，調何參謀總長應欽，留守南京。復指示第一二兩集團軍在曹、豐間確取連絡，實行戰略展開。2月16日轉抵開封，召集馮玉祥及第二集團軍總參謀長劉驥、山西閻錫山代表邵某，第一集團軍總參議何成浚，總司令部參謀處長葛敬恩等，商討北伐大計。與會人士均主早日大舉，尤以第三集團軍方面主張尤為激切。當晚，蔣、馮兩總司令，復密商大舉北伐日期，及軍隊調動，戰線調整，軍費籌措，軍實給養諸大端，決定總攻步驟。
北京方面張作霖在17年2月初旬召開幹部會議，圖謀反攻，作全面之進犯，到了2月中旬，第二次召集幹部會議，決議對京漢及山西方面取攻勢，對津浦路方面取守勢。最後則改為對京漢及津浦路均取守勢，惟對山西則取急劇之攻勢。以張學良的三、四方面軍主力及張作相軍攻晉，以三、四方面軍的一部配置於京、漢路對豫北取守勢，其他褚玉璞、孫傳芳、張宗昌三部，則配置於大名、濟寧、臨沂一帶，對南取攻勢防禦。打算先下山西，然後向南進展。
民國17年4月1日，蔣中正在徐州行轅除通令第二、第三集團軍期以4月7日開始總攻擊外，並於4月3日召集所屬參謀長至徐面授作戰命令。蔣中正並於4月7日誓師。
蔣所親自指揮之第一集團軍戰略目標，集中優勢兵力，以兩翼包圍擊破魯南及濟寧地區北洋軍進佔濟南為主，全軍在徐海、碭山、隴海路以北地區集中，其所屬各軍團按以下位置部署：
第一軍團在徐州東方八義集、大許家、賈旺、利國驛及徐州附近集中。
第二軍團在海州、新安鎮、運河北站附近集中。
第三軍團在豐縣、沛縣各附近集中。
第四軍團在單縣、城武各附近集中。
第二集團軍第一方面軍（孫良誠部）在曹縣、菏澤各附近。
4月10日張靜愚的航空隊偵察發現北洋軍之鐵甲車扼守韓莊、運河鐵橋北端，韓莊東運河北岸工事堅固。革命軍乃展開攻擊，經激戰後，攻克禹王山、勝陽山、王母山、車輻山，當晚攻克台兒莊，北洋軍向嶧縣退卻。革命軍第一軍之第一師進佔紅廟、閻莊等處，第三師佔領單莊、溝上之線；第二師進至利國驛，第十軍進佔莊家場、吳閘子、三叉河。11日佔領王莊及郯城。13日佔領韓莊、沙溝。
4月14日北洋軍作殊死鬥，孫傳芳在蘇、魯邊界豐沛一帶反攻，為張宗昌聲援。而張宗昌亦親臨前線督部猛攻，革命軍奮不顧身，反覆衝殺，擊潰敵軍攻勢，佔領臨城。18日攻入滕縣。19日佔領鄒縣及曲阜。20日攻入兗州，圍殲北洋軍於嶧縣。
張宗昌所部軍隊，在安國軍七個方面軍團中為數最多，但流品複雜，漫無系統，其番號連張的幕僚亦欠明瞭。迄大戰前始將軍隊裁併改編，除人槍較多者仍保留師番號外，其餘編為中將、少將、上校三種支隊，名目番號始稍整齊，但實際各軍改編者仍不過四分之一，裁撤者僅張敬堯之第二軍，余無變動。而各軍之編制亦終未劃一，每軍人數眾寡不等，有二三師者，有一師者，甚至所部上兵手無寸鐵，亦號稱軍長者。至各軍軍長兼任師長，幾成慣例。其下屬編製亦極紊亂，每連或七八十名，或一二十名，因之戰鬥力亦殊脆弱。至於孫傳芳所部，則仍按北洋軍制（按即前陸軍部頒訂之軍制）的成規編配，官兵亦較有歷史，較有訓練，戰鬥力頗強；惟自南潯路戰敗後，士氣不振，軍實復缺，已成強弩之末。
孫傳芳和張宗昌的部隊自被革命軍於兗州、濟寧擊潰後，即退集泰安、肥城、濟南，而濟南的爭奪更是中外所最關心的一幕。
孫傳芳、張宗昌兩部，自慘敗退至高吳橋、馬坡、泗河、官莊、大廠各附近，又退向博山、泰安，張宗昌打算以泰安天險為恃，企圖死守，孫傳芳則以五師之眾退據肥城，以三個師配備於城外刀山谷、鳳凰莊一帶，構築堅固工事和張宗昌軍聯繫，其餘兩師則歸馬寶珩指揮，置主力於萬德、界首。
蔣中正於民國17年4月23日，在兗州行營綜合各方狀況，判知張作霖擬借直、魯聯軍之掩護，企圖向東三省總退卻，乃決心使第一集團軍乘勝猛追，攻佔濟南，並期在黃河以南將其殲滅。
4月23日革命軍各部隊開始行動。25日賀耀祖指揮之第三軍團於大捨、大石橋線向店台、長城、大萬德、小萬德等地攻擊前進。方振武指揮之第四軍團則向肥城猛攻。其他各軍亦向北洋軍進擊。
5月1日張宗昌、孫傳芳以濟南陷於孤立，勢難久守，乃向德州撤退，革命軍遂攻佔濟南，劉峙進駐山東舊督署。
蔣中正於5月2日下午4時由泰安抵濟南巡視，並召集軍長以上軍官會議，指示地方治安事宜，並令各軍駐紮原地待命。同時下達一道重要命令——
「凡張宗昌在山東所設之苛捐雜稅，一律蠲除，著各縣及各機關不得收納，此令。」