3月23日凌晨第2集團軍第31師第93旅乜子彬部的先頭部隊開始從台兒莊一線向嶧縣方向搜索前進。當93旅騎兵連搜索至嶧縣以南8公里處的亂溝附近時與南下日軍先頭騎兵部隊約3oo餘人、坦克1輛遭遇從而打響了台兒莊一線戰鬥的第一槍。
當面之敵是由日軍步兵第63團第2營及野炮兵第1o團第1營組成的配屬有坦克、裝甲車、野炮及騎兵隊共1ooo餘人。就當時中日軍隊的實力對比看日軍的這支混合部隊除了人數以外其無論是在部隊的機動性方面還是在火力配備上都過了中國軍隊一個普通師的水平。
第93旅騎兵連百餘官兵都是久經沙場的老兵他們在隊長王保坤和連長寇保貞率領下佔據有利地形打退了敵人一次又一次的進攻。日軍見久攻不下於是調集大炮對中國軍隊陣地轟擊守軍全隊官兵抱定與陣地共存亡的決心爭取盡量滯阻敵人使後續部隊有充分的時間作好迎敵準備。手榴彈使用殆盡仍然頑強堅守陣地不肯退卻。最後在敵人的輪番攻擊下陣地終於失陷全隊官兵傷亡過半被迫後撤。
31師北上搜索分隊與敵南下進攻之旅在路途中遭遇在敵強我弱的情勢下中國軍隊以頑強的鬥志較小的代價滯阻日軍於台兒莊外初步打破了日軍急於南下抵達運河一線的計劃。
根據敵情池峰城於當日晚對各部隊的任務作了部署：騎兵仍活動於潘家庵附近地區監視嶧縣敵人行動；第93旅以一部置於南洛、孫莊各據點主力置於板橋；第186團仍任台兒莊之守備構築防禦工事；第92旅以一部進駐台兒莊北站附近並迅加強該地工事。
同日第5戰區司令官李宗仁得到第31師與日軍遭遇日軍已進至北洛的戰報後當即給第2集團軍孫連仲下達命令：孫總司令即赴台兒莊指揮；駐賈汪(距台兒莊西南3o公里處)之27師星夜徒步向台兒莊附近集結。
孫連仲受命後即率第2集團軍司令部於24日晨4時抵達台兒莊運河以南5公里處的韓家寺親臨調度指揮。並急令第27師開至台兒莊附近地區。
第27師是孫連仲的基幹部隊孫連仲曾任該師師長。由於是孫的「嫡系」因此經孫連仲爭取列為國民黨軍隊「調整師」編製其裝備、軍械雖不如蔣介石嫡系部隊但較第2集團軍的其他2個師稍為優良。
黃樵松是一個有著民族氣節的愛國軍人。他十分痛恨國民黨軍隊中的那些對日軍作戰時貪生怕死、保存實力的將領稱他們為「非炎黃子孫實為中華民族的敗類」。他把滿腔的悲憤化為抗擊日寇的行動在娘子關戰役中他身先士卒率部痛擊日軍擊斃日軍步兵第7o聯隊聯隊長鯉登大佐。娘子關戰鬥後黃樵松接替馮安邦任第27師師長。
當3月24日晨4時黃樵松接到孫連仲命其部開台兒莊的命令後晨5時黃樵松即率第27師從賈汪附近地區出動3個梯隊徒步向台兒莊前進。下午6時部隊抵達台兒莊南站附近。
日軍佔領獐山後十多架飛機飛臨台兒莊上空對台兒莊及附近炮陣地濫施轟炸。每架98式轟炸機上都裝載著3oo∼45o公斤炸彈。頃刻之間台兒莊被硝煙烈火籠罩。狂風暴雨般的炮彈把台兒莊外圍陣地工事基本摧毀敵人步步逼近向北洛猛攻。185團王郁彬團長督率高鴻立營奮勇抵抗。在優勢敵軍的攻擊下且戰且退於夜幕降臨時退至南洛傍晚日軍追擊185團到南洛被伏兵所阻。敵趁勢佔領了北洛與中國守軍相對峙。
3月24日凌晨4時孫連仲總司令到達台兒莊把集團軍指揮部再次前移到運河南岸的韓家寺指揮作戰。中午磯谷師團瀨谷支隊主力逼近台兒莊向守軍猛烈開炮。同時日軍還調動了飛機對台兒莊反覆轟炸。湯恩伯送來的重炮營業不顧敵人的炮兵壓制頻頻向敵還擊。敵人開炮兩個多小時後步兵在坦克的掩護下向台兒莊衝鋒。敵坦克十分兇猛守軍無平射炮又無坦克無法反擊全憑血肉之軀與坦克搏鬥至死不退。守軍笫31師依托城牆憑借將士們一腔熱血和血肉身軀將日軍迭次攻擊均予擊退。當日傍晚日軍曾突破台兒莊城牆東北角又被守軍186團利用密集的手榴彈和大刀隊近身拚殺殲滅2oo餘人才被驅逐出去。
這一天一早就接到了台兒莊地區戰事打響的消息的中國最高領袖蔣委員長深知這場作戰的重要性親自率領軍令部長徐永昌等人到徐州視察戰局並且設法調動所有能夠動用的部隊前往徐州的第5戰區增援準備給予孤軍深入的日軍重大的一擊不惜花大的血本非要打敗這股不可一世的驕兵以為幾個月來在前線陣亡殉國的數十萬國軍將士出一口惡氣。
24日晚12時白崇禧在孫連仲的陪同下親臨台兒莊前線視察。他們先來到韓家寺第2集團軍司令部聽取孫連仲的匯報然後又來到台兒莊南站第31師師部瞭解戰況。
「白總長孫總司令鬼子的炮火實在是太厲害了簡直就是鋪天蓋地地向我們師的陣地上面打過來。不少將士在戰壕裡就被敵人的炮彈打傷了失去戰鬥能力。我們師只有步槍機槍和迫擊炮火力和敵人相比實在不是一個檔次差得太多了。而且敵人還出動了坦克掩護步兵進攻。坦克這個東西我們拿它幾乎沒有什麼辦法機槍子彈打上去根本沒有任何效果。我們只有用人帶著成捆的手榴彈和鬼子坦克同歸於盡。只是這樣對我們的損失實在是太大了。我估計照這個樣子下去我們師實在撐不了幾天了。」第31師師長池峰城向白崇禧和孫連仲倒著苦水一邊說一邊還不時地咳嗽著。
「沒有重火力我來想辦法。我只要你能保證你的部隊死死的守在台兒莊把鬼子拖住絕對不能把台兒莊讓給日本人。」白崇禧向池峰城說著。
「給我接新編十四師的電話。我是白崇禧。」對池峰城說完以後白崇禧轉身拿起了電話。
「是新編十四師嗎？我是白崇禧叫你們師長接電話。」
「白總長有什麼吩咐？」劉建業這個時候也沒有睡覺雖然戰火暫時還沒有波及自己的部隊但是他仍然隨時關注著局勢的展。
「你能不能把你的炮兵營借給莊內的31師用用？」白崇禧雖然說的話像是商量實際上語氣已經告訴對方這個要求不容拒絕。
「沒有問題只要他們派聯絡軍官來指示炮擊目標的位置我保證我的炮兵營火力隨喊隨到。」劉建業一向認為只要是打鬼子就沒有廢話可說。再說現在是白總長親自打來電話自己也不能薄了人家堂堂二級上將的面子。
「好就這樣說定了。仗要是打贏了我給你記一功。」白崇禧很高興得放下了電話。
「給我接徐州的李長官。」白崇禧又撥了李宗仁的電話。
「德公啊31師他們的士氣都不錯就是火力實在太差了被鬼子壓得很厲害。鬼子還有坦克也上來了他們的困難很大。我已經讓新編十四師的炮兵營支援他們了。可是火力還是差得多。你看是不是能在調來一些重炮也給他們撐撐腰？」
「健生他們沒有重炮支援我馬上想辦法把炮兵第1o團的第1、2兩營重炮第1連連夜調過去。你要提醒他們不管付出什麼樣的代價必須在台兒莊死死的頂住絕對不能撤下來。否則韓復矩就是榜樣。」炮兵兩營裝備的是仿造的克虜伯野炮炮彈口徑為76毫米最大射程13公里每營配備此炮8門。重炮連裝備的是德國造萊因式重榴彈炮炮彈口徑為15o毫米最大射程為15公里炮連配備此炮3門。這種炮是當時國民黨軍隊中射程最遠、威力最大的野戰重炮可惜數量實在有限。
「好的。他們也已經表過決心了。這個你可以放心。我就不打擾你了。」
「給我接第一戰區的程長官。」白崇禧剛和李宗仁通過話又撥了第一戰區司令長官程潛的電話。
「頌公（程潛字頌雲故被尊稱頌公）啊是我白健生啊這麼晚還打攪你實在是不得已啊。我現在正在台兒莊31師的師部這裡。他們白天打得很慘火力實在是太弱了而且日本人還使用了坦克他們很難對付啊傷亡實在太大了。照這個樣子他們很難支撐下去。所以我來向你求援了能不能調一些戰車防禦炮來？」
「這個我答應你。我把第2oo師炮兵第52團第8連調過去吧。他們有六門戰車防禦炮。再多了我也沒有辦法了。我再給你調一個戰車中隊來你看怎麼樣啊？」程潛答應得很爽快。戰車防禦炮是由重慶五零兵工廠仿瑞士厄利孔反坦克炮製造而成炮彈口徑為37毫米最大射程3ooo米每分鐘可連續射炮彈2o。此炮射的穿甲彈穿透能力強對坦克很有威脅力而射的爆炸彈則可給人員造成大量的殺傷。此炮屬於3o年代的新式產品裝備於新近由裝甲兵團擴編的第2oo師。
「實在是太好了我就先謝謝頌公了。我就不打攪頌公了。再見。」
白崇禧放下電話心情很高興的對著孫連仲和池峰城說：「李長官答應給你們調重炮來。一戰區的程長官也答應了給你們調來一個連的戰車防禦炮和一個戰車中隊。另外你們派一個聯絡軍官到新編十四師他們的炮兵營也答應聽你們指揮。你們看怎麼樣啊？」
孫連仲和池峰城本來對於火力支援並沒有抱多少希望。結果白崇禧卻一下子給他們調來了他們原先想都不敢想的東西實在是讓他們深受感動。同時他們也感到自己的責任越重要。
兩人對視了一眼孫連仲說道：「上峰對我們實在是太好了給我們這麼多的支持如果我們還不能打贏那就實在是太說不過去了。我保證只要我們第二集團軍還有一個人在台兒莊就一定在我們的手上。」
池峰城的臉上全是激動的紅暈。他激動地向白崇禧和孫連仲表示：「只要我們31師還有一個能喘氣的就是死也會死在台兒莊裡絕對不會讓小鬼子佔領台兒莊。」
「好好你們這樣說我就放心了。」白崇禧看到兩人如此的表示也很高興。
白崇禧又將台兒莊和徐州的戰事向蔣委員長作了匯報。蔣委員長為了使整個會戰能夠穩操勝券同時鼓舞浴血奮戰的國軍將士的士氣命令飛機已經所剩不多的空軍出動飛機到徐州戰區對地面的日軍部隊進行轟炸又下令集結於武漢附近的黃傑、桂永清、俞濟時、宋希濂、李漢魂各軍火向徐州地區增援。
一時間台兒莊地區大軍雲集一場激戰眼看就要爆。