明軍的突然停止進攻，讓何報，韓忠等人都感到奇怪，史可法雖然將淮安城四門都圍住，但淮安府周圍水道密佈，明軍根本無法將城中與外界的聯繫完全封鎖，如果沒有唐軍在城中，義軍等於是孤軍作戰，和外界有沒有聯繫都無用，但有了唐軍的幫忙，自然一切都不同，史可法就是將水道全部封鎖，唐軍也有信鴿可以傳遞信息。
廣東向唐軍投降這樣的大事，城中都已知曉，明軍此時突然停止進攻，何報生怕明軍放棄了攻城，才和眾人一起上城頭仔細察看，沒想到這個不經意的舉動卻將自己的身份暴露。
見明軍並沒有半點撤軍的跡象，何報才鬆了一口氣，本來淮安只要守半個月沒錯，只是後來唐軍高層突然又推翻了以前的決定，傳令讓誰安將史可法的部隊牢牢拖住，至於為什麼改變的原因自然不是何報所能知曉，何報唯有盡力將任務完成。
明軍已連續二天沒有對淮安城發起進攻，城中的義軍輕鬆之餘，對明軍的舉動也是百思不得其解，打又不打，退又不退，難道他們還想將城圍困到斷糧不成，城中的糧草還足夠數月之用，不過最多的糧草總會被耗盡，明軍硬攻不下這倒是一個辦法。
只是一般的士兵自然不會去考慮這些，而義軍的高層都知道有唐軍這個後援，自然不懼明軍的圍城，見明軍不攻城，樂得全軍跟著休整。
經過兩天的休整，士兵們又都得到了飽食，明軍和數日前相比面貌已大為不同，訓練時都是精神抖數，雖然比起剛到時還大為不如，卻是恢復了大半土氣。大家才知道了史可法的用意。
高岐鳳被史可法頂撞了一次，這兩天倒也沒有再來騷擾，只是到了第三天，見史可法還沒有進攻之意，高岐鳳卻是忍耐不住，再次到了史可法的營帳，一見面就問道：「史大人，將士們也休整差不多了，今天是不是該出戰了？」
史可法並沒有再頂撞高岐鳳。而是神情嚴肅的道：「高公公，你可知道你我之命都在須臾之間。」
高岐鳳嚇了一大跳：「史大人，不要開玩笑，咱家膽子小，經不住嚇？」
只是看著史可法的面孔卻怎麼也不像開玩笑，他想到一種可能，馬上臉色發白：「史大人，咱家前些日子雖然對你有點挑刺，可也是逼不得已，史大人不會因這點小事就記恨咱家吧？」
高岐鳳還以為是史可法對他不滿。想害他，不由軟了下來，他雖是監軍，到底沒有掌握兵權，若是軍巾主帥要暗害他，可以說極易。雖然以後史可法脫不了干係，可是他已看不到了，想起自己好像還差點將史可法唯一的義子殺了，心中更是涼叟叟地。
史可法沒想到高岐鳳想像成自己要殺他，不由有點哭笑不得。連忙解釋：「高公公，本官不是這個意思，你可知道我軍為什麼攻佔一個小小的淮安一個多月，卻毫無辦法？」
高岐鳳心想到還不是主帥無能，累死三軍，此時卻不敢當著史可法的面如此講。只得支唔道：「那是城中叛民太過強大，不關將士之事。」
高岐鳳越想越對，看來史可法是想要推卸責任了，自己只要順著他意就可以了。等到了應天府再向朝庭告發就是，好漢不吃眼前虧的道理他練得早已精通無比。
史可法一拍手道：「正是如此。」
高岐鳳心中不由鄙夷。史可法是有名的清流，自認正直，他的老師左光斗更是崢崢鐵骨，沒想到卻是一個滑頭。
史可法繼續道：「可是淮安中只是一群亂民，他們佔據城池也不過十多天，開始時被我軍攻得毫無章法，可以說城池隨時都有可能被我軍攻下，為何會越打越強？」
高岐鳳翻著白眼，心道這是你說的，我怎麼知道，太監雖然陰毒，喜歡挑刺，對於朝中正直的大臣恨不得全部打倒，但心裡究竟還會有幾分佩服之情，剛才史可法的一番言語，高岐鳳卻已是把史可法當成了一個打仗無能，只會逃避責任地庸官了。
這樣的官員雖然遠比忠直之士對太監們的胃口，心下卻不會有多少尊敬，只是這一場戰事他從頭看到尾，淮安府越打越強也是事實，高岐鳳也有幾分好奇，問道：「那史大人可知道原因。」
史可法點了點頭：「本官在三日前才剛剛知道。」
高岐鳳認定史可法是想推托責任，他自然不必再懼怕史可法，嘴角露出了一絲笑意，打定主意無論史可法說什麼都同意就是，問道：「史大人可否把原因說出來，也容咱家向朝庭回稟。」
史可法道：「原因就是城中已不全是亂民，而是有唐軍混雜之中。」
高岐鳳點了點頭，這倒是一個好理由：「好了，咱家知道了，淮安城中不就是有唐軍嗎，那接下來怎麼辦，是繼續進攻，還是向朝庭要援兵。」
史可法道：「不能進攻，援兵也毫無作用，退兵，只有退兵，才可以保得眼下數萬將士的平安，否則不便淮安不可取，鹽城，揚州等地也有可能被失去，到時朝庭危矣。」
高岐鳳失聲叫了起來：「退兵？史大人，你別忘了皇上的旨意如何說？」
史可法點了點頭：「我知道，皇上讓我不惜一切代價將淮安以最快的速度拿下來，否則必定嚴懲不怠。」
高岐鳳仔細打量了史可法幾下，見史可法面無表情，他心裡拿不定史可法是何主意，若是退兵那就是抗旨大罪，史可法不但官當到頭了，就是腦袋能不能保住還是一個大問題，即如此，又何必再推御責任：「史大人，難道城中真有唐軍不成？。」
史可法不悅起來：「高公公。你莫非懷疑本官說謊？」
高岐鳳乾笑了幾聲：「不敢，不敢，史大人的話咱家如何會懷疑！」
高岐鳳的臉一下子難看起來，想起城中有唐軍的，他不由頭皮發麻，唐軍的厲害弘光朝上下都很清楚，此是高岐鳳恨不得馬上退走，只是他身為監軍，軍隊不退，他也不可能獨自逃走，馬上就想同意史可法退軍地要求，又怕承擔責任，想了想才道：「史大人，你是主帥，你說如何就如何吧。」
史可法對高岐鳳明說也不是想讓他承擔責任，只要他不搗亂就行，見高岐鳳沒有反對，馬上向外面叫到：「來人，傳我將令。讓各將都到我營中集合。」
幾名親兵應聲而來，向史可法行了一禮，就重新出帳，不一會兒，中軍大營中的傳令兵全部出發，將史可法的命令傳到各軍。各個明軍將領接到命令迅速朝史可法地營帳策馬而來。
高岐鳳知道史可法等下就會傳令撤軍，本來這種會議他這個監軍一定要參加，高岐鳳此時卻一心想盡快收東西跑路，對史可法道：「史大人，待下的會議咱家就不參加了。任由史大人安排就是，咱家告辭。」
沒等史可法回答，高岐鳳轉身就走，史可法只得抱拳道：「公公好走。」
史德威對著高岐鳳的背影呸了一口，罵道：「狗太監，」又向史可法道：「父親大人。幹嗎不讓他留下來。」他剛才一直沒有插話，此時見高岐鳳甩甩手就想走人，忍不住開口說話。
史可法搖了搖頭：「算了，他留不留下來都是一個樣。」
史德威急道：「那怎麼同。他不留下來，此次撤軍地責任一定會全由父親大人來背。我去把他叫回來。」
看到史德威就要向高岐鳳追上去，史可法忙叫道：「回來，此次進攻誰安失利，為父根本沒有打算要別人來承擔責任。」
史德威只得停下腳步，不甘心的望著高岐鳳離去。
得到傳令的各將很快集中到史可法的營帳中，等眾將都到齊，史可法將退兵的決定說了出來，眾將都是一片嘩然，大家都以為休整之後，馬上就要對淮安重新發起進攻，沒想到竟然是要退兵，眾人一時搞不清狀況，都面面相覷。
史可法將那日看到地結果和盤托出，並將淮安城中有唐軍地猜測告訴大家，眾人馬上驚慌起來，唐軍既然介入，自然不會只是單純的守城，誰也不能肯定此時沒有一支部隊已盯上了眼下這數萬明軍，一個不好大夥兒全都死無葬身之地。
只是朝庭的旨意是要盡快拿下淮安城，如果退兵，那豈不是和朝庭背道而馳，許多將領猶猶豫豫的說出自己的擔心，更多地人卻道將在外，君令有所不授，眼看全軍要陷入危急，還有堅持進攻淮安城，無疑是愚不可及，一時營中大吵大鬧起來。
史可法重重的敲了一下桌案：「好了，我意已決，今日下午我軍出其不意，退軍！」
眾人都靜止了下來，望向史可法，大家自然知道史可法如此說就是要把退兵的責任全都承擔下來，史可法的幾名心腹將領站了起來，嘴皮動了幾下：「大人，你……。」
史可法搖了搖頭：「不必多說了，大家分頭準備去吧。」
眾人都應了一聲：「遵令。」魚貫而出了史可法地大營，畢竟能夠平安撤退，又不擔風險，誰都不會反對，換了別地主帥，恐怕會千方百計將黑鍋給下屬背，哪會主張承擔了所有地責任，一時眾將對史可法都打心底尊敬起來。
等各個將軍回到營中，宣佈了撤軍的消息，所有官兵都歡聲雷動，大家都對如此難啃的淮安城有了懼意，此時養精蓄銳了數天，又不用再攻城，明軍士兵一時暴發出巨大的熱情，半上時辰不到，已全部收好了，就等著撤軍。
明軍營中的動靜自然瞞不過城巾地守軍，接到報告的韓忠、何報、劉老四等人都匆匆趕到城頭，看到底下的明軍來來往往，韓忠還看不出什麼明堂，連忙問道：「他們在幹什麼？」
何報只用望遠鏡看了幾眼，就確定了下來：「不好，明軍在拆營。」
韓忠還沒有反應過來：「他們拆營幹麼，不怕凍死麼？」
何報回道：「他們這是要撤軍。」
韓忠不由高興起來：「撤軍，那城中之圍豈不是解了。」
何報的一個親兵冷冷的回道：「當然解了，只是他們卻要全跑了。」
韓忠才想起他們不是只守城這麼簡單，主要還是要拖住這數萬明軍，見何報地臉色不對，小心提議道：「何大人，不如我軍開城出擊。」
何報的雙手緊握著手巾的望遠鏡，手上青筋暴起，心中猶豫不決，韓忠擔心的看著他手中的望遠鏡，那可是價值一千五百兩白銀的東西。
何報考慮半響，那是放棄了這個想法，城中地兵馬絕大部分在兩個月前都是從來沒有拿過兵器的農民，用來守城還可以，若是出城攻擊明軍，恐怕被明軍衝上數下就要崩潰，到時留不下明軍，淮安還有可能被明軍趁勢奪去，反而是賠了夫人又折兵。
史可法看到城中不出擊，失望的看了誰安城一眼，喊道：「全軍出發！」
他有持無恐，故意大張其鼓的撤軍，就是想引誘城中地義軍出擊，作最後一博，現在義軍堅守不出，史可法只能無可奈何的退去。
看到城下明軍最人一個人也已退去，淮安中地軍民全都歡呼起來，在明軍進攻的日日夜夜，雖然義軍的上層都是胸有成竹，但普通的民眾到底是不安，這可是造反的大罪，萬一城破，後果不堪設想。
何況早期明軍攻城時，義軍手忙腳亂，雖然佔有城池的便宜，但死傷比攻城的明軍還多，讓他們都心有餘悸，如今明軍主動退兵當然最好。
史可法在退軍的路上也是不敢大意，唯恐哪裡就會鑽出一路唐軍對其突擊，直到全軍回到了鹽城，史可法才鬆了一氣。
鹽城城小牆矮，容不下數萬大軍，再說史可法放心不下的還是揚州，揚州不但城池遠比鹽城要大，而且還是應天府的屏障，不容有失，在鹽城休息一晚後，史可法就將全軍向揚州撤回。