與此同時，日軍也開始入侵山東，原西北軍舊部山東省主席韓復矩率第三集團軍與日軍交戰，韓復矩所部無法抵擋日軍進攻，在濟陽城關幾乎被俘，此間，當韓得知蔣介石借口加強淞滬戰場，已將重炮旅調走後，認定蔣介石意借日軍之手消滅異己，為給嫡系部隊保留實力，棄守黃河防線，與1938年1月被蔣介石以「不聽命令，擅自撤退」等罪名誘殺於武昌，所屬部隊被收編。日本大本營為打通津浦鐵路，使南北戰場連成一片，先後調13個步兵師團約30萬人、大炮1180門、坦克512輛、飛機213架，在海軍、空軍配合下，去進攻徐州，然後沿隴海鐵路(蘭州至連雲港）西取鄭州，再沿平漢鐵路（北京至漢口）南奪武漢。
由於蔣介石主力部隊被打散，無力再戰，徐州一帶由第五戰區司令長官國民黨桂系領袖李宗仁佈防，李宗仁先後調集64個師另3個旅約60萬人，與日軍展開徐州會戰。參加徐州會戰及台兒莊戰役的軍隊，除桂系精銳部隊李品仙第二十一集團軍的第三十一軍及廖磊率領的第十一集團軍的第七軍、第四十八軍之外，還有潰潮中的各中央軍與地方部隊，包括原西北軍將領張自忠五十九軍，原東北軍舊部於學忠的第51軍，川軍鄧錫侯第四十一及四十五兩個軍，原西北軍馮玉祥舊將孫連仲所屬第二集團軍，轄第三十軍田鎮南部的第三十一師,第四十二軍馮安邦部的二十七師及獨立第四十四旅。另有中央軍湯恩伯的第二十軍團的兩個軍，即關麟征的第五十二軍和王仲廉的第八十五軍計五個師等。
徐州位於江蘇省西北，地處安徽、河南、山東三省交界之處。會戰實際上由兩個階段組成，首先是以台兒莊戰役為核心的魯南會戰；其後為台兒莊大捷之後，日軍以徐州為中心部署的徐州會戰，涉及山東、江蘇、安徽、河南等省，這一階段李宗仁率各部被迫突圍。
台兒莊戰役前後近一個月，主戰方為西北軍舊部的張自忠第59軍，孫連仲第2集團軍，龐炳勳第3軍團，及湯恩伯第20軍團等，以傷亡2萬多人的代價，擊潰了日軍兩個最精銳師團的進攻，殲滅瀨谷混成旅大部、阪本支隊一部，共計1萬餘人，繳獲各型火炮70餘門，坦克40餘輛，裝甲車70餘輛，汽車100餘輛，槍械1萬餘支及其他戰利品。
1938年4月，台兒莊戰役大捷後，蔣介石深受鼓舞，匆忙將20餘萬中央軍調到了徐州戰場，計劃借李宗仁等勝利的餘威，和日軍在徐州決戰。對於中國軍隊在徐州地區的大量集結，日軍認為這正好是消滅中國軍隊主力的好機會。5月初，日軍迅速集結10多個師團30多萬人向徐州地區夾擊。日軍在徐州的包圍圈馬上要形成時，蔣介石發現主力部隊有被包圍在徐州的危險，就又決定棄守徐州。因此，徐州會戰在佈局階段的中後期就放棄了。
1938年5月，就在國民黨部隊開始突圍之際，日軍土肥原所部第14師團約2萬人為切斷中方退路強渡黃河。但由於孤軍深入，隴海線附近國民黨部隊有6個軍12萬人，土肥師團反成孤軍深入之勢。
當國民黨軍隊對日軍第14師團形成合圍之勢，由於蔣介石的兩支嫡系部隊不聽指揮，亂了陣腳，臨陣退卻，徹底打亂部署。接著土肥原捲土重來，進攻河南開封，開封失守已成定局，鄭州岌岌可危。為阻止土肥師團，掩護國民黨軍隊後退，蔣介石於5月31日夜晚做出一個重大決策：掘開黃河大堤，「以水為兵」，阻止日軍，即「花園口事件」。6月9日9時，國民黨軍隊用炸落和平射炮轟炸黃河大堤。轟炸成功，出現一個寬約4米的決口，一個小時後達到10米。截至晚上8時，「掘口處被水沖開，已達40尺，水深丈餘，浪高三尺。」花園口決堤後，黃河水經中牟、尉氏沿賈魯河迅速下洩。第二天，黃河中上游普降暴雨，水量猛增，決口處進一步被沖大，西邊一路沿穎河下瀉淮河，東邊一路沿渦河到安徽懷遠流入淮河。黃、淮合流後湧入洪澤湖，淮河、洪澤湖沿岸立即變成了一片汪洋。
就在花園口破堤的同時，日軍前鋒已攻陷了距鄭州30公里的中牟，從天而降、一望無際的黃河水，使日軍官兵進退兩難、不知所措。突入豫東地區的日軍，有的來不及逃脫而被洪水湮沒，有的為傷病所累而被丟棄，還有一部分為中國軍隊所殲滅，其他的只好停止追擊，集結於黃泛區以東。決堤雖然阻滯了日軍西進勢頭，但也給這一地區的老百姓帶來了巨大災難。掘堤時，直接淹死和餓死的百姓多達89萬人。
毀花園口大堤，阻止了機械化日軍的行動，迫使日軍無法利用淮河西進、利用平漢線南下。日軍由此不得不放棄以主力沿淮河西進大別山的計劃，改為以主力沿長江兩岸向武漢推進。國民黨軍隊借此喘息之機調整了防線，以第一、第三、第五戰區的部分兵力和第九戰區的全部兵力，計130多個師，約120萬人，圍繞武漢為核心，構成一條穿越豫、鄂、皖、贛4省，防禦正面達1300餘公里的巨大防線。
徐州會戰歷時5個月，日軍在會戰中傷亡在2.6萬人以上。中國軍隊傷亡合計約6.5萬餘人，包括原西北軍張自忠第59軍，傷亡約1.5萬人。原西北軍孫連仲第2集團軍傷亡約1.4萬人。原西北軍龐炳勳第3軍團，全軍萬人傷亡約八千人。川軍孫震第22集團軍，傷亡官兵約萬人。湯恩伯第20軍團及臨時轄屬各部總傷亡約萬人。桂系劉士毅第31軍、於學忠第51軍合計傷亡近6000人等。
徐州會戰之後，1938年6月又爆發了武漢會戰，戰場在長江南岸及北岸，橫跨安徽省、河南省、江西省及湖北省，共進行了四個半月，由於日軍的全面戰爭處處受到阻截，日本集結12個師團約35萬人與國民黨軍隊進行決戰。
早在日軍佔領南京後，日本大本營就開始研究所謂「攻佔漢口作戰」。日軍參謀本部情報部認為：從歷史看，只要攻佔武漢，就能支配中國，通過武漢會戰，可以做到以武力解決中國事變大半的目的，只要控制了武漢，即可以把蔣政權逐出中原，「使蔣政權降為地方政權」。日軍規模龐大的「漢口會戰」的另一個目的，正如日本天皇裕仁在武漢會戰前的御前會議上所說，為了給國民黨政府最後致命的一擊，迫使中國投降，不願見到「帝國雄獅百萬受制於中國」。為此，日本拿出32.5億日元的作戰費用預算，「陸軍為漢口作戰傾注了全力，沒有應變之餘力」。據戰後發現日軍文件證明，連日本本土僅留的一個近衛師團，也待命隨時增援武漢會戰。
武漢會戰中，蔣介石將各地方軍與中央軍進行了統籌整合，包括一些無地盤的晉綏軍、原東北軍和西北軍舊部，以及離開本土抗日的川軍、滇軍和桂軍等地方實力派軍隊，達124個師，40餘艘艦艇，220架飛機共約110萬人。武漢會戰吸取了淞滬和南京打陣地戰作戰模式的教訓，不再聚集重兵於背水，一旦環形防線被突破，幾十個師都有被壓迫於水邊而被殲滅的危險。而將主力將隊放在外圍，利用山脈地形與日軍作戰。
蔣介石為總指揮，劃長江以北為第五戰區，以桂系李宗仁為戰區司令長官，後為白祟禧。武漢會戰是日本全面戰爭戰略防禦階段規模最大的一次戰役，其中在萬家嶺一帶，日軍第106師團大部被殲，史稱萬家嶺大捷。
武漢會戰歷時四個半月。大小戰鬥數百次，日軍使用12個師團，死傷達10萬人以上，中國參戰部隊傷亡超過40萬人。
早在1934年10月至1936年10月間，中國工農紅軍進行了萬里長征，中央紅軍最終到達中國西北方的陝甘蘇區和陝北蘇區，即以整個大西北為戰略縱深。
而南京失陷，蔣介石移都西南方的重慶，即以川、滇、黔三省為戰略縱深。雲貴高原西鄰緬甸，可以從這裡到達印度，並接受英美等國對中國的援助。
地緣勢力是由個國家的綜合實力來決定的，對外影響逐漸擴大，則地緣勢力擴張，反之亦然。戰後日本軍事專家認為，日軍攻克上海與南京是日本在侵華戰爭中最大的戰略失誤。雖然在戰爭初期日本可以獲得中國的半壁江山。但會因此而模糊自身的戰略意圖，沒有任何退路的中國各方勢必聯合起來，與日軍決戰。同時日軍「全面戰爭」還有另一層結果是，日軍全面佔領不僅直接損害到英美等國的利益，也意味著東亞戰場失去了地緣平衡，其影響足以震驚世界各強權。日本在中國的全面戰爭，使蘇聯與美國感受到巨大威脅，由於擔心其「獨吞」東亞，控制整個中國、朝鮮半島、越南，並將太平洋變成了日本的內海，進而美蘇通力合作，聯手夾擊。