回到了運河南面的住地中午過後劉建業就命令全師官兵挖掘防空洞和防炮洞同時工兵連利用鋼絲繩和絞盤在運河上架設五座橋致使這些橋和一般意義的橋以及浮橋都不同是可以通過岸上的絞盤牽引鋼絲繩控制橋的升降。這樣白天的時候可以把橋放到水下晚上的時候可以從水面以下把橋拉起來供部隊和車輛通行白天緊急的時候也可以把橋拉起來用。鬼子的飛機飛過來的時候就可以把橋再放下去鬼子的飛機就很難現這些橋了。這是解放軍工兵部隊在援助那個忘恩負義的越南抵抗美國人空襲的時候明的潛水橋的變種。
日軍第十師團瀨谷支隊佔領滕縣之後糾集1.5萬人沿津浦路南下攻佔臨城。此時板本在臨沂遭到張自忠、龐炳勳包圍危在旦夕。磯谷廉介從濟南急電瀨谷分兵援救。陣前分兵乃兵家大忌但磯谷、瀨谷極其驕狂不把中國軍隊放在眼裡。瀨谷狂言：「只要一個步炮混合的戰術單位就可以把徐州防線摧垮。」於是他兵分三路一路編師守臨城一路由赤柴八重藏大佐率所部5ooo人東援臨沂；一路由福榮真平大佐率所部5ooo人南下台兒莊另外控制4ooo人的預備隊以應對可能生的情況。
3月2o日通過偵察現福榮真平大佐率隊進逼我台兒莊的企圖之後戰區長官部急調孫連仲第二集團軍全部進駐台兒莊。孫連仲部第二集團軍轄兩個軍都不是滿編的甲種軍。忻口戰役中血戰娘子關被敵人的空地一體化攻勢給打得夠嗆損失慘重太原戰役以後從第二戰區調到了第一戰區還一直沒來得及整補就接到了命令再次調到了第五戰區。急調徐州時第二集團軍實際上只有三個師一個獨立旅還不如18軍一個軍的兵力充足。
3月21日孫連仲部全部到達台兒莊前線。一到達前線孫連仲就帶著部下高級軍官開了軍事會議決定以3o師張金照部守台兒莊左翼27師黃樵松部守右翼31師池烽城部守台兒莊城另以獨立44旅吳鵬舉部為第二集團軍的預備隊。孫連仲把自己的指揮部設在台兒莊外南面的車輻山可以居高臨下俯瞰台兒莊戰場。池烽城的31師則以186團進駐城寨團長王冠五為城防司令其餘部隊在城外佔領有利陣地隨時準備支援城內作戰。同時由於台兒莊戰局關係整個第五戰區部隊的前途命運這裡又有著分屬西北軍和中央軍的兩支部隊為了加強作戰的協同戰區的李長官特意把自己的參謀長徐祖貽派到台兒莊加強組織協調工作。
徐祖貽一到台兒莊就馬不停蹄得召集了第二集團軍和新編十四師的高級軍官到自己的前進指揮所召開會議。不管怎麼樣劉建業打鬼子的心是鐵定的只是出頭擔風險的事情他也是不願意做的。再說了會議上面自己和其他人都不一樣他們的資歷都比自己要老的多。而且上至戰區參謀長下至各部旅長都是地方軍系的坐在裡面的人裡只有自己是中央軍嫡系的這一點光從軍服上面就能看得出來。別人都穿得灰布藍布軍服只有自己穿的是黃綠色毛呢將官軍服銅質扣子黃亮亮的。所以在軍事會議上面他索性來了一個悶聲大財什麼意見都不提什麼話都不講唯一提出來的就是要求派出一個團到運河北岸警衛運河上面的橋樑。不明所以的徐參謀長也就在和孫總司令商量了一下以後同意了。會議的最後照例又是作為會議召集人的徐祖貽參謀長對各位與會軍官來了一通激勵鼓動勉勵各位盡忠竭力報效國家否則韓復矩就是大家的榜樣。大家自然又是一聲的表示了自己的堅定決心。
從會場回到了運河南岸的駐地劉建業馬上派人找來了部下新52旅新1o5團團長唐海和師屬工兵連連長讓他們轉移到運河北岸去。新1o5團到了運河北岸以後抓緊時間挖掘陣地特別是防空洞挖得越多越好。師屬工兵連則不管別的所有人員分成三班從1o5團新駐地開始挖掘地道一直挖到台兒莊內的東南角再一次為中轉向東北角和西南角挖掘地道的出口要挖的隱蔽不易被現。新1o5團挖完了防空洞除留下守備橋樑的人員其他人員也要幫忙挖掘。
台兒莊周圍的百姓知道在這裡的部隊都是準備和鬼子以命換命的紛紛帶著自家的雞鴨牛羊白面雞蛋等物品來到軍營外要求部隊收下他們的一番心意。有不少的當地小伙甚至纏著出來接待的值日軍官要求加入隊伍去打鬼子。值日軍官實在難以謝絕百姓的熱情又不敢違反新編十四師內部的嚴格軍紀跑到劉建業面前請師長指示如何解決。劉建業也覺得這件事情很難辦。按理說自己不能接受這些百姓的東西別的不說土木系部隊這個方面一直都有嚴格的紀律不像一些軍閥的部隊自己剛接受新十四師就頒布了嚴厲的軍紀對拿老百姓東西的行為是要嚴懲不貸的。可是要是不接受的話那些純樸善良的百姓也不會答應的會傷了他們的心。至於那些要求參加隊伍的年輕人更是不好辦。先自己的部隊是滿編的沒有多餘的名額再說馬上要面臨的是一場極為凶險的血戰要是把那些沒有受過正規軍事訓練的年輕人送上戰場和謀殺他們沒有任何區別。但是他們的參軍熱情也不能抹煞。怎麼辦呢？劉建業為此起了愁。
直到十幾分鐘後他終於有了辦法。他叫來副官楊舟叫他帶著軍需官去接受百姓們送來的東西但是必須按照市價給予老百姓補償即使百姓不肯接受也要好言相勸讓他們收下錢。至於那些要求參軍的小伙子也不予拒絕只是把他們單獨編組成為擔架隊和運輸隊統一管理負責運送傷員和搬運物資為前線送飯等差事不讓他們參與戰鬥。解放軍在徐蚌會戰裡動用的民工比參戰的部隊還多這就省出了多少兵員?不像國軍什麼活都是自己來干結果許多兵員都浪費在了戰線後面。
事情總算平息了下去也不由得觸了劉建業的感慨。真是得民心者得天下現在全國民心所向一致抗戰國軍雖然連續作戰失利丟失了不少的國土但是老百姓還是這樣的擁護國軍不是因為別的只是因為國軍是在打鬼子是在為了國家民族而戰鬥。就在幾年前的江西楊伯濤給自己寫來的信裡可是說過在江西的前蘇區老百姓看到國軍雖然沒有反抗但是從眼神就可以看得出來是討厭甚至憎恨國軍只是敢怒不敢言罷了。同樣是打仗只是作戰的對象換了情形就遠不一樣差的遠了。
第五戰區兵站部的石總監也奉李長官的命令給新編十四師送來了五車皮的子彈和三車皮的手榴彈以及炮彈等彈藥特別是六噸TnT炸藥五千顆雷管一卡車汽油三卡車的玻璃瓶和兩噸白糖。兵站部負責押運物資的軍官在請劉建業在物資清單上簽字驗收的時候曾經滿臉疑惑的想知道他們十四師要這些東西幹什麼？結果劉建業對著他神秘的一笑一邊搖頭一邊雙手合十地說：「佛曰不可說不可說。」
日軍第十師團繼續驕狂地孤軍深入向著台兒莊推進。湯恩伯第二十軍團按戰區長官部的命令開赴津浦線拉開了架勢向滕縣方向起了聲勢浩大的猛攻邊走邊打。磯谷命令留守部隊衝鋒湯恩伯在望遠鏡中見磯谷猛撲過來命令部隊虛晃一槍佯作頂不住狀突然向東面抱犢崮山區轉移讓開了津浦路正面的通路。湯恩伯也有心眼重炮營不便在山區運動他便命令重炮營開進台兒莊歸戰區長官指揮。磯谷果然中計以為湯恩伯無力抵抗向東逃竄也不追擊直接沿津浦路臨棗支線向台兒莊撲來。磯谷擁有數萬步兵大小坦克近百輛山炮、野炮近百尊輕重機槍不計其數天上還有3o多架飛機助威輪番在徐州城、臨沂、棗莊、台兒莊上空丟炸彈。徐海地區方圓三四百里陷入一片火海之中硝煙在天空瀰漫久久不能散去。大部分村莊、樹木被燒成木炭化為灰燼。
第5戰區台兒莊會戰的作戰方針是陣地戰與運動戰相結合因此實現預定作戰方案有兩支決定性力量：一是擔負機動殲敵任務的湯恩伯部（第2o軍團）；二是擔負守備任務的孫連仲部（第2集團軍）。而這兩支部隊並非李宗仁原來的桂系部隊都是在徐州會戰開始後分別從程潛的第1戰區和閻錫山的第2戰區臨時轉隸而來的部隊。因此對於戰區最高司令的李宗仁當務之急是要理順關係、凝聚人心。
最令李宗仁頭痛的是湯恩伯及其第2o軍團。在滕縣保守戰中由於第22集團軍守備任務艱巨、兵力不足早在日軍開始進攻時李宗仁曾致電蔣介石請派軍事委員會直接控制於豫東的湯恩伯第2o軍團第85軍的第4師增援津浦路。蔣介石基於徐州會戰的特殊地位也深知第5戰區實力太弱（當時全為雜牌軍）同意將第2o軍團投入第5戰區管轄的魯南戰場。湯軍名義上雖屬第5戰區管轄實際上對李宗仁的指令常打折扣惟蔣命是從。
湯之所以如此狂傲主要因為第2o軍團是蔣介石的嫡系部隊。湯恩伯的第2o軍團是6個月之前才組建的一個新軍團直接受國民政府軍事委員會統轄下轄第13、第52、第85三個軍和一個獨立騎兵團。第13軍軍長由湯恩伯本人兼任下轄第11o師（師長張軫）；第52軍（軍長關麟征）下轄第2師(師長鄭洞國)第25師(師長張雷明)；第85軍（軍長王仲廉）下轄第4師(師長陳大慶)、第89師(師長張雪中)。其中第52軍、第85軍的軍師級幹部大部分是黃埔軍校學生蔣介石視他們為「得意弟子」因此對這支部隊予以重點裝備配以一定數量的野炮、重炮、坦克槍械齊全成為當時國軍的精華。
3月14日正當日軍第1o師團沿津浦路快南下滕縣處於危急之時李宗仁曾電令湯軍團長：
敵於津浦北正面增加兵力大舉反攻以牽制我魯南之作戰。鄧部(指川軍第22集團軍鄧錫侯部——引者注)兵少械劣正面薄弱兩翼空虛恐難拒敵。已電呈委座調貴軍團85軍駐商丘之一整師由火車輸送至滕縣附近作22集團軍之總預備隊望即出動為荷!
湯恩伯接到李宗仁的電令後很不高興。稱李是瞎指揮。抱怨李宗仁：「今天這兒抽我一個師明天那兒挖我一個師這麼三抽兩挖叫我這個軍團長怎麼當?再說我的部隊正在河南商丘、安徽亳州一帶整訓大兵團在隴海和津浦兩條交叉的單軌鐵道上輸送必須兩度換車我又怎麼可能在短短的一夜之間把兵力集中到滕縣?」
於是遲遲沒有兵這也就是22集團軍滕縣血戰時遲遲盼不到援軍的重要原因。
但湯恩伯知道李宗仁在電令自己的同時也請示了老蔣如果不予執行擔心蔣介石怪罪。於是仍不理會李宗仁先給蔣委員長一份電報電文寫道：
「蔣委員長。懇以本軍團全部調津浦北段出擊避免分割使用以益戰局而杜分散或作無代價之消耗。
謹呈。湯恩伯。」
當晚湯恩伯收到了蔣介石的電話指令：
「為了策應津浦北段的正面作戰我同意2o軍團全部調第5戰區指揮準備在臨城與敵人決戰。所屬的第85軍今晚立即從商丘乘車經徐州向臨城輸送務必於17日拂曉前到達臨城集結完畢。第52軍即開商丘集結待命該軍團長（湯恩伯——引者注）先到徐州指揮。」
就這樣湯恩伯部加入了第5戰區的徐州會戰。但是由於之前湯部未能及時增援滕縣戰況突變磯谷的一個旅團已突破中國軍隊第22集團軍王銘章師在滕縣外圍各陣地以機械化部隊沿南沙河一帶猛向官橋、臨城一帶迂迴。此時湯恩伯所屬的52軍還遠在徐州、歸德一帶無法立即趕到臨城參戰。這麼一來蔣介石、李宗仁希望湯恩伯在臨城與敵人決戰的企圖隨著情況的變化而無法實現了。加之當時第5戰區司令李宗仁並無預備兵團在手所以只得命令湯恩伯將52軍輸送到韓莊就下車集結其意在於加大逐次抵抗的縱深而在運河北岸鞏固一個大橋頭堡來保障徐州的安全。湯恩伯從自身利益出並考慮到所擔負的機動作戰任務把主力移置於東集、西集、鳳凰莊一帶形成對敵側擊的準備以防戰局的惡化。
其實李宗仁對湯恩伯的擔心不無道理。當時第5戰區的作戰計劃著眼於在臨城與韓莊運河間聚殲日軍所依仗的主力是湯恩伯軍團。與後來所進行的台兒莊戰役有些出入。其中主要原因固然與當時對日軍實力估計不足有關而湯恩伯沒有很好執行命令採取一定的避戰態度則是重要原因幸虧李宗仁下狠心曉以利害逼其令行禁止同時關鍵時刻蔣介石從全局出督促湯恩伯否則後果不堪設想。
在上述計劃中另派一支重要力量即擔任台兒莊、運河一線的阻擊任務的部隊。事後證明這一方向實際上成為整個台兒莊會戰的主角對於會戰的勝利起到了決定性作用立下了頭功。那麼派哪一支部隊來擔負這一重任呢?李宗仁與參謀人員反覆權衡決心啟用第2集團軍孫連仲部。
第2集團軍屬於原西北軍舊部總司令孫連仲字仿魯河北雄縣人1893年生保定中學畢業後投筆從戎。成為馮玉祥的部下後因為頭腦機靈作戰勇敢受到了馮玉祥的賞識之後不斷陞遷為馮部中的虎將——「十三太保」之一。193o年蔣、馮、閻大戰後馮玉祥集團瓦解孫連仲部被蔣介石改編為第26路軍孫任總指揮。抗日戰爭爆後26路軍又改建為第2集團軍孫仍任總司令。孫連仲部以最善於防守而著稱。在北洋軍閥統治時期有名的幾次防禦戰如南田之戰、西安守城之戰都是他們打的。抗日戰爭期間長城抗戰中的喜峰口、羅文峪防禦戰孫連仲部均打得很出色。在太原會戰的娘子關保衛戰中孫連仲負責扼守娘子關正面陣地日軍在飛機大炮的掩護下向娘子關猛攻不能越雷池一步。但他們是國民黨軍隊中的一支雜牌部隊名義上叫集團軍實際上只管轄2個軍（3o軍軍長田鎮南；42軍軍長馮安邦）。部隊的武器裝備極差重兵器很少槍械混雜有的士兵甚至僅有一把鋼製的大刀作為武器。
滕縣之戰結束之時孫連仲的第2集團軍奉命在徐州北部的台兒莊陣地進行佈防。李宗仁要求孫連仲部在台兒莊附近布下袋形的防禦陣地以吸引日軍的攻勢然後下令裝備與火力較佳的湯恩伯第2o軍團在外圍進行運動戰當日軍的攻勢在台兒莊受到阻擋之後立即設法由外線進行包圍攻擊日軍的背側形成以內外夾攻的方式圍殲日軍。為了協同方便31師暫歸第2o軍團長湯恩伯指揮待第2集團軍司令部到來後部隊再歸建制。同時為了以防萬一防備由於第二集團軍兵力損失過大無力堅守住台兒莊李長官才下定決心把剛成軍不久的新編十四師這支根本沒有戰鬥經驗的中央軍嫡系部隊也拉來作為第二集團軍後面的預備兵力。如果李長官的手裡還有其它部隊可調他也不會行此下策。
22日第2o軍團司令部及52軍路經台兒莊時軍團長湯恩伯和52軍軍長關麟征會晤了池峰城特別強調31師務須努力堵擊敵人的南進。他要求31師以一個旅的兵力進至台兒莊以北的泥溝附近對嶧縣方面的敵人實行警戒。還答應在31師與敵接火後他將率領第2o軍團主力馬上抄襲敵人側背協力夾擊敵人。31師只要能在台兒莊一線堅守三日即算完成任務。劉建業本來也是需要去主動見一下這位湯軍團長的可一想起來49年的時候這位現在的湯軍團長可是在老蔣面前出賣了自己的恩師陳儀（陳儀當年自自己掏錢資助湯恩伯留學日本6軍士官學校還把湯恩伯介紹給了蔣介石。）跟著他來的還有那位很喜歡和土木系中人對著干的關軍長劉建業就沒有了見他們的想法就派副官楊舟帶著一些慰問品送到湯恩伯那裡說自己正得了傳染性很強的病毒性感冒不方便出門所以很遺憾不能有幸拜見湯軍團長領受教導云云。
池峰城按照戰區司令官李宗仁、本集團軍總指揮孫連仲和臨時直接領導湯恩伯的指示精神對部隊進行了部署：康法如旅守衛台兒莊及運河一線乜子彬旅向嶧縣方面擔負搜索警戒任務。
23日日軍由棗莊南下在台兒莊北側的康莊、泥溝地區與守軍31師乜子彬旅負責警戒的騎兵連接戰。台兒莊戰役開始。傍晚日軍追擊向台兒莊方向收縮的中國軍隊第三十一師一八五團到南洛被阻擊部隊所阻。