趙構直到駕崩都沒能找到解決這個不定時炸彈的方法他並不主張用暴力方法解決此事在他看來如果這樣做的話南宋對外將全無信用可言這是他父親犯過的錯誤他絕不會再犯。按照趙構的思路趙慎暫時對那些蕃客們採取了拉攏的方式將其中部分影響力較大的富豪任命為管理商業交易的官員以保證他們的利益不受侵犯。可是趙抗這一攪和就連那些「官商」都沒幾個敢留在南宋了。
無奈之下趙慎只得暫時管制「蕃客」們的自由以防止他們恐慌性地出逃。但是事與願違這樣一來「蕃客」們更加驚慌而他們經營多年趙慎又是新登基不久管制根本沒揮多大的效力結果沒過幾個月有能力逃走的全逃走了
而趙慎不但什麼都沒得到反而得處理因「蕃客」們大舉出逃所產生的社會和經濟問題。而這一事件的罪魁禍趙抗則很「慷慨」地借給南宋朝廷一千萬貫以應急年息五成真可謂「前門驅虎、後門進狼」
在這個過程中「神罰」進一步擴大了自己的勢力將近九成的「蕃客」都通過直接或者間接的方式加入了「神罰」這種後果是趙抗沒有料到的。畢竟他對那些外國人缺乏瞭解沒想到他們的警覺心如此之高。至於「蕃客」們為什麼都前往金國主要是因為其他幾個國家都太小了市場狹小商人逐利而行自然只能去金國了。而且金國目前財政困難急需錢糧可以說是一拍即合。而「神罰」作為他們的代表在派人與完顏亮進行了數天的磋商後正式結成了聯盟。
有了「神罰」的財力與情報網的支持金軍氣勢大漲連續多次對海州動了進攻不過虞允文防守嚴密並沒給他們機會。但是不利的消息還是不斷傳來布薩忠義再一次證明了他卓越的軍事才能僅僅一個月的時間北方數十萬（虛數）抗金義軍幾乎全被剿滅只剩下不足五萬（還是虛數）的零散武裝還在負隅頑抗。等到他的十萬大軍與完顏亮的金軍主力會合後海州城將面臨更大的壓力而一度轟轟烈烈的北伐則大有中途夭折的風險。
正所謂「屋漏偏逢連夜雨」虞允文正在忙著佈置防務時一份密報令一向冷靜的他原地佇立了許久。一向不服輸的他今天算是深刻體會了「謀事在人成事在天」這句話的含義。
「賊老天真是賊老天為什麼總要和我們漢人過不去！」虞允文幾乎就要怒喝了出來他心裡明白這次北伐已經不得不中止了。從密件上虞允文得知淡水一帶生了強烈的地震雖然礙於篇幅不能準確描述但光看「山崩地陷」這四個字就知道問題的嚴重性了。而趙抗得知此事後立即中止學習啟程回國更是說明了這一點。
後方出了這麼大的災難如今即使是想保住海州這一城之地都已經是奢望。甚至光是將城內的數十萬軍民平安帶回趙國都並不是一件容易的事如果被金軍尾隨其後一路追殺那將是一場更大的災難。按常規的做法這種情況下應該用一支戰鬥力強的軍隊斷後以掩護主力撤退但那樣做的話那支斷後的軍隊必無幸理。趙國現在野戰軍數量有限可捨不得拿幾萬精兵去當棄子。
不過好在有海軍上千艘艦船在至少百姓撤離是比較容易的。但是軍隊一旦開始上船城防力量必然大減金軍如果乘勢攻城的話那大部分沒來得及上船的官兵一定死無葬身之地。居鵬當初所用的辦法太殘酷虞允文只是將其作為備用方案他仍在苦思希望能找出一種更好的辦法來。
三天後虞允文向海軍布了戰鬥任務他命令海州港內沒有運送百姓任務的艦船立即出港對在金國近海航行的所有船隻起攻擊。能俘獲的就俘獲不能俘獲的全部擊沉。另外虞允文又命令時俊部經海路對金軍的側後方起間歇性的突襲取得了一定的戰果。但是金國如今人力、財力、物力都非常充足根本不在乎這麼點損失。而江晨星等趙軍將領卻迷糊了不是要撤退嗎？怎麼突然變得這麼積極主動起來了？難道虞允文打算冒險和金軍決戰現在就是在做相應的準備？
趙軍都不明白金軍那邊就更不明白了尤其虞允文還派人動了幾次小規模的夜襲。這幾次夜襲趙軍大量使用了火箭雖然殺傷人數不多但金軍營帳被焚燬不少而且金兵們的休息受到了很大的影響。完顏亮對此非常惱火他現在已經不怕與趙軍正面決戰但是這種小規模的騷擾令他極度抓狂。無奈之下他只能下令增加了崗哨數量以防止趙軍故技重施。根據經驗趙軍每次動大規模攻勢之前都是以這種騷擾為開端的。想到這裡完顏亮倒是有些高興了他命令金軍做好決戰的準備。說實在的這一個多月趙軍死守不出倒真是令金軍很頭痛。數十萬大軍每駐紮一天就是多少錢糧啊！紇石烈志寧雖然覺得還有些疑點但畢竟沒有多少依據就沒有對完顏亮說。
而就當趙軍將士紛紛自做好戰鬥準備時虞允文卻突然秘密召集了所有營級以上將領宣佈了撤軍的命令。眾將這才恍然大悟原來他玩的是「欲退先攻」這一出啊！不過考慮到金軍中也有能人未必就不能識破自己的計策所以虞允文便選擇了夜間上船。但一夜不可能撤走全部軍隊虞允文便讓斷後的部隊在天明後擂鼓做出集合軍隊準備進攻的架勢以進一步迷惑金軍。結果等到金軍現問題時趙軍已經全部撤走了。對於沒有大型海船的金軍來說只能望洋興歎
說是全部撤走但其實趙軍還是有幾個人留了下來。虞允文在宣佈撤軍時特別詢問了目前仍留在軍中的石貴等獨立師將領的意見。石貴強烈反對目前撤軍這意味著此次北伐前功盡棄實在是太可惜了。
但是虞允文也沒辦法他將國內生的可怕災難透露給石貴知道石貴臉上悚然變色。但他臉色凝重地沉思了一會之後還是堅定地表示「撤軍看來是不可避免了但是北方必須留下種子請讓末將的獨立師留下來吧！」