國軍１５萬精銳部隊，未能殲滅被圍的２萬日軍，蔣介石十分震怒，稱之「在戰史上亦為一千古笑柄」。遂將丟失蘭封、商丘的第八軍軍長黃傑、二十七軍軍長桂永清撤職查辦，將擅自撤出蘭封的第七十一軍八師師長龍慕韓處決。
６月，日軍佔領開封。日軍的下一個目標已暴露無遺：先攻佔鄭州，再奪取武漢。蔣介石對豫東的戰事深感不安，多次電令第一戰區從速拿出阻敵西進的方案。
第一戰區司令長官程潛決定，以水代兵，就像荷蘭人抵製法國路易十四侵犯荷蘭一樣，決堤放水，淹沒日軍。並通過林蔚向蔣介石請示。
蔣介石有些沉吟，他知道這樣做，會惹出不少麻煩事。可是，日寇氣勢洶洶，驕悍已極，不殺殺其氣焰，鄭州馬上也要被他們拿去。其實，這個以水代兵之計，早在１９３７年７月，他的德國首席顧問法肯豪森就曾提出建議「將黃河決堤」以阻止日軍。
當時，眾多國民黨要員也曾向蔣介石提出「以水代兵」的建議，１９３８年４月１３日，陳果夫曾致函蔣介石：「台兒莊大捷，舉國歡騰，抗戰前途或可轉入佳境。唯黃河南岸千里，頗不易守，大汛期間且恐敵以決堤攻我，我如能取得武陟等縣死守，則隨時可以水反攻制敵。蓋沁河口附近，黃河北岸地勢低下，若在下游任何地點決堤，只需將沁河口附近北堤決開，全部河水即可北趨漳、衛，則我之大危可解，而敵則居危地。」５月，姚宗、何成璞等都提出過這一建議。
繼之，第一兵團總司令薛岳、二十集團軍總司令商震也提出這一建議，進一步堅定了蔣介石的決心。蔣介石決定炸開黃河，製造水障，以阻止日軍西進。他直接向駐在楊橋的三十九軍劉和鼎軍長發出了密電：「為了阻敵西犯確保武漢，依據馮副委員長建議，決於趙口和花園口兩處實行黃河決趙口之決口，限兩日完成。已另電洛陽第一戰區程長官負責主持，規劃實施花園口之決口，已電令一０九師負責萬福麟）負責，仍由三十九軍統一指揮。並希電報後，即向程長官聯繫，接受指示，認真辦理具報。」
蔣介石和劉和鼎直接電話聯繫，隨時詢問進展情況。他對劉和鼎說道：「以水代兵，在黃河歷史上有２０多次。我們也是研究了再研究的。和鼎啊，這次掘堤關係到國家民族的命運，切戒小婦之仁。沒有小的犧牲，哪有大的成功要打破顧慮，克盡全力」
為確保守住鄭州至許昌一線，參謀長晏勳甫、副參謀長張胥行向第一戰區司令長官程潛建議掘開黃河。
１９３５年早在武漢行營時，晏勳甫曾擬過兩個方案：一是必要時將鄭州付之一炬，使敵人徒占廢墟無可利用。二是水攻，挖掘黃河堤岸，以水淹敵。以一炬付鄭州，只能起堅壁清野作用。
決堤，既可以水淹死敵之先頭部隊，更可將敵人主力隔絕在西進路上，不戰而達戰略目標。晏勳甫道：「敵相當部分是機械化部隊，裝甲車、卡車、火炮牽引車多至千餘輛，滔滔大水中，必寸步難行。」他轉向了程潛：「「此乃不成熟之設想，當否，請總司令裁定。」程潛默默抽煙，半晌無話，觀其神志，顯然在作縝密考慮。恰此時，委員長侍從室主任林蔚打電話詢問作戰對策，晏勳甫於是回話道：「我們擬掘開黃河堤岸，放水阻遏敵軍。」
「決堤放水？」林蔚的口氣顯得幾分驚訝，停頓了一下又問：「你們計劃在哪裡掘？」
「趙口至花園口一線。」晏勳甫根據程潛提示，又補充了一句：「請林主任報告委員長定奪。」
林蔚擱下話筒，便去向蔣介石報告。蔣介石聽後，淡淡一句：「知道了。」
見蔣介石半晌未置可否，林蔚以為他不會同意了：「決口之後，黃水一瀉千里，受災百姓必多」他瞥見蔣介石臉色不對，把後面的話嚥了下去。
「上學要付學費，經商要墊本，不花代價怎麼行？這是以小的犧牲，換取大的勝利。」蔣介石本也有以水淹敵的想法，程潛他們的方案，正合本意。只是作為最高統帥的他，對決口帶來的嚴重後果，不能不有所考慮。「至於災民嘛，政府應盡力救濟。」
林蔚連忙稱是。
蔣介石立即召集最高軍事會議。由於情勢緊急，不容拖拉，他在林蔚介紹程潛所提方案後，率先表示贊同。眾人自然不再有異議，鹹趨聲附和。末了蔣介石關照此為最高軍事機密，務須秘而不宣，事前也不許組織百姓轉移。
「事前及進行過程中保密容易，大水漫淹後，必有記者報道，輿論也必究詢原因，屆時如何說法呢？」軍委政治部長陳誠問。
軍事委員會參謀長何應欽提出，可下達指令，加強新聞檢查，一律不許報道。
介石立即否定：「任其報道，且要如實報道災情。」
何應欽有些疑惑地道：「那決口原因呢？總得自圓其說，總不能暴露真相，以防引起輿論詰責。」
「真相？」蔣介石已是成竹在胸，微微一笑而道：「日機不是到處狂轟濫炸嘛？」
眾人一下子明白了蔣介石的言下之意。
未及一個鐘頭，晏勳甫就接到林蔚回電：「你們的掘堤計劃，最高軍事會議已作研究，委員長已表同意。」
程潛以電報形式，再作書面請示。他的用心是：掘堤後，必有無數百姓罹難，一旦洩漏真相，將為千夫所指，輿論壓力下，很可能被蔣介石推出來當替罪羊。電話口說無憑，故而欲取得書面批復，以預留後路。
６月１日，蔣介石回電批准，令在中牟以北黃河南岸選定地點決堤，讓河水在鄭州、中牟之間向東南氾濫，以阻敵西犯，並要求在４日子夜放水。趙口在花園口下游，距花園口大約４０公里。
程潛將掘堤任務交給了第２０集團軍，２０集團軍總司令商震經與參謀長魏汝霖商酌，派５３軍１團具體執行，決口地點定在趙口。
一應準備就緒，６月４日早上６點，趙口掘堤破土。由於估計不足，對堅厚的基石與護坡石力不從心，更在於，時值枯水，水位偏低，未能如期完成。
當時是，日軍正拚力攻打開封，蔣介石心甚焦急，於６月５日凌晨命令商震：「此次決口，有關國家命運，沒有小的犧牲，哪有大的成就？在此緊要關頭，切戒婦人之仁，必須打破一切顧忌，克竟全功。」
商震與魏汝霖安敢怠慢？即赴趙口現場督察，下午８時，工兵實施爆破，炸毀基石，然因斜面過陡而發生嚴重傾塌，決口悉數堵塞，前功盡棄
商震又派一團生力軍，在第一決口東５０米處，開挖第二個缺口，工兵則挖鑿坑道，深入堤壩中，意在加強爆破威力。他還懸賞千元，要求迅速放水。費了九牛二虎之力，口是開成了，較之第一缺口寬大，但放不出水。原因是水位繼續下降，開掘之初，主流接近南岸，完工時，口外有暗沙阻隔的緣故，主流已北移數十米，只有少量河水流出。且又不急。一小時後坑道鑿成，裝填炸藥起爆，泥石紛飛，缺口變大變深，水嘩嘩湧出。正欲向上報捷時，轟響聲聲，接連塌方，又把決口堵塞，雖數次疏流，終不奏效。趙口第三次掘堤，又告失敗６日凌晨，日軍攻佔了開封，兵鋒直指鄭州，蔣介石從商震處得報趙口三次掘堤勞而無功，又急又氣，一日數次催問進展情況。在堤上督促的魏汝霖急得似熱鍋上螞蟻，程潛、商震也都憂心如焚，除了嚴厲催促外，又有什麼辦法呢？
６日拂曉時分，住在京水鎮新８師師部的蔣在珍師長突然被電話鈴聲驚醒。蔣抓起話筒一聽，原來是２０集團軍總司令商震直接與他通話，告訴他：隴海路南之敵巳突破通許一帶我軍防線，逼近開封，而趙口決堤尚未完成；命令新八師加派步兵一團，前往協助。蔣在珍不敢懈怠，趕緊起床驅車趕往趙口視察。
趙口一段，地勢較低，選中此處決堤至當。惟計劃此事時，對黃河水勢估計過大，對堤質估計過松，故而決定在大堤相隔四十公尺處挖開兩道口子，以為河水同時放出後，利用河水的巨大壓力，能將兩處決口之間四十米長的河堤沖走。孰料決口掘成，中間大堤久沖不垮，兼之決口過於狹小，流量有限，士兵雖奮力加寬，然軍情緊迫，已時不可待。
師部上尉作戰參謀熊先煜向蔣在珍談了看法後，蔣立即前往鄭州，面謁商震，商總司令的意思是增加官兵，加快速度。熊先煜則認為決口過於狹小，人去得再多，也無用武之地。商命令熊先煜即返趙口，協助５３軍１團改善技術，盡快放水。
熊先煜與蔣在珍又返回趙口，正與決堤部隊長官計議之中，忽接商震電話，轉達統帥部指示，命令新八師於本部防區內另選地段決堤。
蔣在珍馬上登車駛返京水鎮。途中，蔣在珍問熊先煜：「我師防區內的沿河地段，你都熟悉，你看究竟在哪裡決堤最好？」
熊謹慎答道：「以地形而言論，馬渡口、花園口均可。不過，馬渡口與趙口相距不遠，敵人巳迫近這一地區，恐堤未決成，敵人已至。為獲時間寬裕，我看最好還是選定花園口一段為宜。」蔣在珍當即拍板：「時間緊，任務重大，事不宜遲，那就定在花園口吧。」
回到京水鎮巳經是夜裡十點左右，剛剛吃過晚飯，商總司令派集團軍參謀處長魏汝霖前來督促決堤事。商議中，定下兩條原則，盡快完成任務，盡量縮小受災地區。
蔣在珍命令由熊先煜主持決堤工程。熊先煜領命後即著手準備。夜裡１２時，率工兵營營長黃映清、馬應援和黃河水利委員會專司河堤修防的張國宏段長，乘坐一輛中吉普匆匆趕到花園口，勘察確定決口位置。
到達堤上，但見腳下河水潺潺，水位莫辨，一彎月牙兒在雲中浮，時隱時現。微風拂拂，十分涼爽。他們馬上開始工作，豈料所帶四支手電筒，非僅光亮微弱，且燈泡質量尤為低劣，一經使用，先後全部燒壞。此時巳是６月７日凌晨兩點鐘了。考慮到事關重大，不敢摸黑盲目選址，乃決定上車休息，待天亮後再勘察選址。五個人擠在車上，只能坐待天明。
天剛亮，他們幾人就沿著黃河逆流而上勘察。河堤上，有一個冷清的關帝廟，廟中無人，門大開。四人全都進去對著紅臉長鬚的關雲長磕了三個響頭，還敬了香。熊先煜跪在地上默默禱告：「關老爺，中華民族眼下遭了大難，被日本鬼子欺侮得慘。我們打不過他們，萬般無奈，只好放黃河水淹，淹死了老百姓，你得寬恕我們。」
大約過了一個鐘頭後，熊先煜選定在關帝廟以西約３００米處決堤。看中這裡，是因為此處為黃河的彎曲部，河水洶洶而來，到腳下突然受阻，壓力較之直線處為大，容易衝垮河堤。而且從地圖上看，待河水從花園口一帶湧出，漫過巳被日寇佔領的開封、中牟、尉氏、通許、扶溝、西華等縣境後，便可注入賈魯河，向東南而行，流入淮河。賈魯河道，可成為一道天然屏障，阻止河水無邊漫延，當可減少人民所受之損失。
熊先煜說出意見後，用樹枝指著鋪在地上的地圖，詢問隨同各員有何意見，如沒有不同意見，就這麼定下了。
這時，眾人神色莊嚴，淚光朦朧皆不能言。
熊先煜問張國宏：「張段長，你是我們請的專家，你要表態，定在這裡，行，還是不行？」
張國宏答非所問，目光呆滯，連連嚷道：「要死多少人要死多少人吶」
熊提高聲調說道：「死人是肯定的，在這裡決堤，死的人會大大減少。你必須表態，行，還是不行？」
張國宏這才意識到自己的責任，認真地看著地圖，表態同意。
工兵營營長黃映清不待熊先煜問他，巳經「咚」地一聲跪在了地上，舉眼向天，熱淚長淌。
其他人全都隨他跪了下去，四個人跪成整齊的一排，面對著波濤洶湧的黃河，放聲大哭。直到工兵連和二團九連的官兵來到堤上才住聲。
熊等人馬上動手劃線，決定相隔五十米距離掘兩道決口，由大堤內側對準河床底部平行地掘進，決口外寬內窄，呈倒「八」字形。預計掘至河底，決口可寬至十米左右。放水之際，洪水從大口入小口出，增大壓力，更容易衝垮大堤。這均是從趙口決堤失敗的教訓中得來的。
計劃完畢，工兵連和九連馬上按線開挖。不一會兒，第二團全部集中，第三團也趕到堤上，乃分由大堤南北兩面同時動工，以加快掘進速度。
早飯後，蔣在珍決定移住花園口，親自督促施工。下午３時魏汝霖奉商震之命，趕來花園口督察，告訴蔣在珍：「新鄭已發現日軍便衣，集團軍司令部已遷往鞏縣，委員長催問數次，令盡快決堤。蔣在珍看了看表：「爭取提前在９日午時放水。」他迅即調來兩個營增援，並改為兩個班輪流作業。又把師政治部的戰地服務團召來，作慰問演出：男女演員演唱了一首又一首救亡歌曲，為掘堤官兵鼓勁打氣。２０００多官兵日以繼夜地猛掘不止。
６月８日，掩護部隊的傅衡中團在花園口以東１５華里處與日寇騎兵接火，將前來偵察襲擾之敵騎擊退。京水鎮上，出現了日寇便衣，一時人心惶惶。移住河堤上監工的蔣在珍，下令將師部由京水鎮移往東趙集。
為加快掘堤速度，張國宏段長招集附近百姓協助，並指示掘土方法。河堤上軍民混雜，人山人海。武漢統帥部每隔一小時便來電話催問決堤進度，希望能早一刻放水。黃河決堤，已對抗戰大局影響甚巨。
中午前，魏汝霖再度由鄭州趕來，代表商震慰勞新８師官兵，目睹決堤官兵雖連續工作一晝一夜又半日，卻毫無倦容。許多人巳經雙掌鮮血淋漓，用綁腿纏手，仍揮鎬掘土，不肯休息。魏處長深為感動，當眾宣佈，如於當夜１２點放水成功，總司令部獎法幣兩萬元；如明日晨６時放水，則獎一萬元。
午後，日機兩架，從北飛臨花園口上空偵察，並投彈數枚，落於決口附近西南面村莊，炸死炸傷居民十餘人，但決堤並未因此而停止片刻。
花園口河堤系小石子與粘土結成，非常堅硬，挖掘相當吃力。而且，河堤完全靠人工挖掘，未用一兩炸藥。
經新八師官兵與前來協助的民工苦戰兩晝夜後，終於６月９日上午８時開始放水V！~！