31日台兒莊及其附近日軍已被第2集團軍和第2o軍團第52軍完全包圍。阪本旅團由臨沂轉向台兒莊馳援到達向城、愛曲地區側擊第二十軍團。該軍團即命第五十二軍和剛到來增援的的第七十五軍圍攻阪本支隊。
這個時候台兒莊及其附近地區的敵我態勢非常的微妙。在台兒莊內日軍第十師團的瀨谷支隊在瀨谷旅團長的親自率領下已經佔據了半個台兒莊而且還在不斷向據守台兒莊西半部分的中國軍隊動進攻。由於敵軍的火力佔據著很大的優勢莊內的守軍只能努力的支撐每時每刻都在承受著巨大的傷亡。而在台兒莊外第2集團軍的第27師黃樵松部第3o師張金照部和第2o軍團第52軍關麟征部已經對瀨谷支隊構成了包圍態勢。在台兒莊北部外圍的戰線上奉命支援瀨谷支隊的日軍第五師團阪本支隊又對第52軍側背形成威脅。第2o軍團的第85軍、第75軍則又在日軍的側後對日軍的安全構成潛在的威脅。任何一支部隊的舉動都可能對整個戰局的走向構成極大的影響。
瀨谷啟旅團長最近的情緒很不好。本來在他的心目裡那些裝備低劣的支那軍隊怎麼可能是他指揮的裝備精良訓練有素作戰經驗豐富而且自從天津塘沽登6以來作戰行動一直是順風順水簡直可以用旌旗所到之處無不望風披靡來形容的姬路師團瀨谷支隊忠勇將士的對手。他在從濟南出之前還向師團長磯谷廉介中將信誓旦旦的保證過只要有一個步炮協同的戰術單位頂多也就是一個聯隊的兵力就可以把所有膽敢在瀨谷支隊前進道路上進行抵抗的支那軍隊全部消滅。可是這次軍事行動顯然不像以前在河北和山東其它地方的進軍相提並論。以前的進軍與其說是進軍不如說是火力演習只要一排炮打過去對面的那些膽怯的支那人就紛紛丟下了陣地亂成一團的潰敗也就是在德州才遭遇過當地一個團駐軍的抵抗也沒有用什麼功夫就把那一個整團的支那軍隊全部消滅了還把帶著一個旅過來支援的什麼山東省主席嚇得坐上一輛三輪摩托匆忙丟下部隊跑回了濟南。此後的進軍就更是順利了簡直就是武裝旅遊一路所到之處幾乎毫無抵抗。
可是不知道為什麼從2月開始進軍就不再像以前一樣順利了。那些支那人好像個個都吃了藥一樣不管手裡的武器怎麼樣拚命的抵抗大日本皇軍還不時地動反衝鋒。就像在滕縣遇到的那些支那人手裡的武器簡直可以送到軍事博物館了可是卻硬是要和大日本皇軍玩命最後竟然連傷員都不肯投降。以前那些懦弱的山東部隊也拚命的從四面八方向自己的支隊動各種方式的進攻。雖然這些進攻對於自己這支精銳部隊來說不算什麼並沒有用很大的力氣就解決了但是度最關鍵的度被拖慢了。到了台兒莊這個地方本來現在這裡防守的支那軍隊竟然背水結陣自己也就認為他們並不打算和自己拚命的只要自己向他們展示一下皇軍強大的火力他們支持幾個小時就會後退方便向他們的指揮官交待的。結果卻不是這樣這些背後背著大刀片的支那軍人幾乎個個都不要命拚命的抵抗皇軍將士。即使自己使用了大量的火炮進行無差別的覆蓋性炮擊還出動了坦克和航空兵掩護但是這些支那人還是藉著一個一個院子的院牆狹窄的街道進行抵抗甚至對坦克使用了肉彈攻擊。到了晚上整個台兒莊更是成為了這些支那人的天下。支那軍人使用大刀和皇軍將士進行近身的格鬥還特別無恥的喜歡砍下終於天皇陛下的勇士們的頭顱。這種情景不能不使人想起當年的喜峰口。雖然為了天皇陛下為了大東亞聖戰皇軍的勇士們可以毫不憐惜自己的性命但是丟了腦袋死後的靈魂可是無法進入靖國神社的。這不能不使得自己手下的官兵在白刃戰時有一些縮手縮腳唯恐是被砍了頭而死。到了前幾天莊內更是出現了身穿黃綠色軍服的支那中央軍嫡系部隊。這些中央軍部隊他們的武器可是不像那些拿大刀的支那地方部隊那麼差而且他們顯然在小組戰術上更加的熟練。幾個人組成了戰術小組各有負責互相掩護特別是喜歡使用炸藥包不論是炸塌院牆還是投擲到皇軍的工事裡都對皇軍的防禦體系的完整性造成了很大的威脅。更加可怕的是他們經常向皇軍佔領的院子裡投擲一種玻璃瓶一旦碎裂就會有汽油流淌出來引起火勢和濃煙。
由於那些低賤的支那人的愚蠢舉動自己的部隊在這個小小的莊子被拖住了一個多星期了一直沒有能夠完成佔領這個莊子打通進攻支那東部重鎮徐州通路的任務而且支隊的兵員損失和彈藥消耗都很大。這種情況已經讓在後面坐鎮的磯谷師團長閣下感到很不滿了。雖然到目前為止他一直都沒有明白地說出來對支隊所提出的各種要求甚至是請求師團給予戰術指導的請求都予以了充分滿足但是誰都不知道閣下的耐心還能夠保持到多久？這種危險已經從閣下打來詢問戰況的電話的頻率一天天增加就能看得出來了。
這幾天自己的後方也顯得不是那麼安全了。本來一直被皇軍的軍威所震懾呆在抱犢崮一帶山區不敢出來的支那中央軍湯恩伯部也突然溜下了山出現在自己的後側對自己部隊的安全構成了巨大的威脅。幸好第五師團的阪垣師團長閣下及時地派出了板本旅團長帶領一個支隊對湯恩伯的部隊進行了進攻才使他們不能對自己展開進攻。這下就緩解了自己的壓力了。當然最好的解決問題的辦法還是盡快的徹底佔領台兒莊。只有佔領了台兒莊才能使師團長閣下忘記此前的一切不順利也才能使自己的前途保持順利免得被來自軍部的審查人員帶回國內。如果自己要使落到那個地步結局最好的也是被轉入預備役了甚至還有可能被關進軍事監獄剝奪一切的榮譽。自己和自己的家人就將永遠難以再抬起頭來的。
所以無論如何在沒有接到放棄進攻台兒莊的命令之前自己就必須不斷的進攻台兒莊盡快地佔領台兒莊。
瀨谷啟旅團長命令所部官兵不惜一切代價揮大和魂的巨大威力徹底的擊潰當面的支那軍隊。第十師團的官兵不少都是參加過1936年的「二二六兵變」的激進派對於日本必須依靠不斷的擴張使用軍事手段擴大帝國疆域才能保持帝國生存的理論信奉不疑。在接到旅團長的命令以後瀨谷支隊的官兵就像剛剛注射過海洛因一樣在密集炮火的掩護下不顧守軍不斷射的子彈的殺傷對莊內的守軍動逆襲。
台兒莊各處陣地都遭到日軍強烈的反攻防守西北角的孫連仲部又陷入苦戰之中。當然在西南角的新編十四師部隊所受到的壓力一點也不比31師部隊受到的壓力小。
圍繞著西南角的幾個比較高大的院落雙方部隊展開了逐房逐屋的爭奪各自在院牆上開挖搶眼向對方近距離射擊甚至是隔著一堵牆兩方面的軍隊互相向對方投擲手榴彈。台兒莊內到處喊殺聲一片經常是日軍剛佔據一座院子國軍馬上組織部隊回頭殺了回去。國軍剛剛奪回院子還沒有來得及喘上一口氣日軍部隊又殺了進來。為了一個院子甚至是一間屋子的控制權雙方能反覆爭奪十幾次直到有其中一方無法忍受巨大的傷亡放棄爭奪為止。
4月1日公佈「日本國家總動員法」。日本天皇授權內閣對戰爭所需的勞動力、資源、資金和設施等進行統制的法律。以敕令形式把統制權授予內閣。同年5月5日實施共5o條。規定在戰時統制的物資是：兵器、艦艇、軍需品、被服、糧食、醫藥品、船舶、飛機、車輛、馬、通訊機械、土木建築物資、燃料、電力等。統制的範圍包括：物資的生產、流通、進出口、運輸、通行、金融、工生、教育、研究、情報、宣傳、警備等。還規定在必要時可強制實施對國民的徵用規定勞動條件、禁止勞動爭議限制集會、群眾運動、停止報刊行等。1941年修訂後統制權限進一步擴大政府有權獨自頒布敕令強行進行戰時動員完全否定了議會對立法的審議權增強了日本的法西斯專制統治。
這一天的夜裡由於多日的連續苦戰雙方的部隊都已經顯得疲憊不堪為了對部隊進行重新編組和休整莊內的激戰暫時沉寂下來。劉建業不得不把在莊內連續戰鬥了幾天的新編五十二旅從莊內撤了下來進行休整和重編以新編五十一旅的部隊進行替換繼續堅守莊內陣地並不斷向敵軍動反攻。新編五十二旅原本奇裝滿員的六個營經過幾天不分晝夜的連續作戰在敵人密集的炮火覆蓋和坦克毒氣等的進攻下雖然有地道作依托依然損失了相當於一個半營的部隊。新編五十二旅下屬的新編一八七團第二營一直堅守在台兒莊的南門。那裡是敵人的主要進攻方向之一。敵人對那裡投入了相當於一個大隊的兵力進行反覆衝擊。第二營依靠著自製的地雷炸藥包燃燒瓶和敵人進行了持久的拉鋸直到被撤換下來一直沒有丟掉對於莊內守軍意義重大的南門。可是這個營也被高強度的連續作戰徹底打殘了。全營原先近五百名官兵在多日的戰鬥以後直到撤到莊外的時候連帶傷員在內只剩下一百四十多人了勉強夠編成一個步兵連。僅僅是這個營的營長在三天三夜的戰鬥裡已經更換了四個全部都是正面中彈傷重殉國。
見到這些自己的部下從前線撤下來劉建業眼角閃著淚花嘴唇顫抖著實在無法說出話來只有舉起了自己的右手向這些勇士們致以軍人的敬意。這個時候一切的語言已經都失去了意義。只有軍旗手手裡高舉著的獵獵軍旗依舊迎風招展向整個世界表明他們的光榮和無畏。
4月2日敵人奉命支援台兒莊的第五師團阪本支隊被周嵒第75軍和關麟征第五十二軍在台兒莊東北死死的頂住使盡渾身解數也無法前進一步眼睛可以看到台兒莊內高高飄起的硝煙耳朵可以聽到莊內震天的喊殺聲就是無法進攻到莊內與正在莊內陷入苦戰的瀨谷支隊會合。鑒於我軍面臨的態勢第五戰區司令部給各參戰軍團下達任務：
一、第2o軍團（含第75軍）以一部消滅洪山鎮北方之敵以主力於3日保持東南正面向台兒莊附近之左側背攻擊逐次向左迂迴務在台兒莊左側地區將敵捕捉殲滅之。因戰況進展須隨時折斷敵自嶧縣之退路並對向城方向增援之敵嚴密警戒。
二、第2集團軍右翼與第2o軍團聯繫於3日全線攻擊消滅台兒莊之敵；第11o師準備以1旅由萬里閘附近渡河向北洛附近敵之右側進攻。新編十四師臨時配屬第2集團軍協同行動。
三、第3集團軍前敵總司令曹福林指揮張測民支隊5個團及游擊總指揮李明揚所部為堵擊兵團迅南下向棗莊、臨城合圍。
4月3日第五戰區司令長官李宗仁對台兒莊地區各部隊下達總攻擊令。第52軍、第85軍、第75軍在台兒莊附近向敵展開猛烈攻勢。日軍拚力爭奪佔領市街大部。總攻開始以後日軍頑強抵抗。
台兒莊守軍第31師的4個團已經傷亡過半由第3o師調入城內的兩個團接替了部隊陣地傷亡也很嚴重。同樣在城內堅守的新編十四師儘管武器裝備優於第2集團軍但是畢竟是新組建編成不久的部隊雖然有一些老兵作為骨幹但是大多數的兵員還是沒有作戰經驗在敵人的密集火力下不知道如何有效的保護自己和殺傷敵人所以所受的損失也不小。幸好由於劉建業命令工兵挖了不少時間的地道和防空洞才使部隊可以輪流到地道和防空洞裡休息恢復精力以後再次投入戰鬥使得城內的戰鬥部隊幾乎任何時候都能保持相對旺盛的體力和戰鬥意志。
敵人在反覆衝擊無效的情況下利用毒氣彈開路在毒氣的掩護下向我軍動進攻。在一陣陣黃綠色的煙霧過後我軍官兵許多人掙扎著倒在地上身上暴露部位的皮膚開始潰爛流出黃水喪失了戰鬥能力。面對這種情況劉建業也是無能為力誰叫自己的祖國沒有化學戰報復能力呢？結果只能是被敵人肆無忌憚的使用這些國際法嚴格禁止使用的殺人利器。看到自己的部下一個個無助得倒下劉建業只能忍痛下令收縮兵力放棄部分陣地以避免無謂的傷亡等到晚上再來收拾這些窮凶極惡的鬼子。
時至下午時分台兒莊城西北門、北門、東門、東南門均已陷於敵手日軍佔領四分之三的台兒莊地盤。守軍31師仍據守城內一隅拚死堅守並組成大刀隊夜襲敵人予敵以很大殺傷。敵軍連續動了七八次總攻並且使用燃燒彈妄圖摧毀城內所有房屋和軍民將台兒莊夷為平地。城內各守備隊利用地形和斷牆殘壁築起第三道陣地工事挨街逐巷與敵人周旋搏鬥並組織起2oo餘人的奮勇隊偷襲敵人據點連連突破敵人陣地。守軍雖然英勇奮戰但傷亡太大實力愈來愈不支。此時的日軍顯然覺得對於他們來說攻佔台兒莊的任務即將完成當面的中國守軍已經無法對他們的進攻進行有效的抵抗了。顯得迫不及待的他們對著進行電話採訪的日本共同社記者宣佈台兒莊已經被百戰百勝的大日本皇軍佔領背後的皇軍士兵正在高呼「天皇萬歲」。日本電台立刻對這個消息進行了大肆吹噓。廣播裡日本的播音員用足以震斷鋼絲的高亢語調宣稱日本軍隊已經在台兒莊取得了決定性的勝利佔領了整個台兒莊中國守軍的抵抗已經被徹底粉碎面向中國東部重鎮徐州的進軍道路已經向皇軍敞開了在皇軍的進攻下徐州指日可下。