「曹大人！」趙普突然亮了嗓子，把曹彬嚇了一跳，把趙匡胤也嚇得打了一個機靈。就見趙普衝著曹彬吹鬍子瞪眼睛道：「皇上是問你先在這個仗還能不能再打下去了，你為何岔開話題，訴說當初攻蜀之事來？蜀兵在南，漢匪在北，二者如何能一樣？這麼簡單的道理，皇上難道也不懂嗎？」
若是平日，趙普這般衝著曹彬發火，曹彬肯定會大驚失色。但此番不然，因為曹彬早就知道趙普曾經勸過皇上撤軍之事。同時曹彬還知道，皇上已有撤軍之意，只是不便明說，而趙普正是想借他曹彬的嘴來給皇上下令撤軍鋪下個台階。
所以，曹彬就做出一副誠惶誠恐的模樣對趙普賠笑道：「宰相大人批評的是……曹彬一時緊張，說話跑題了……」
而趙匡胤聽了趙普的話後心裡卻很不是滋味。那「這麼簡單的道理」一句，豈不是在諷刺他嗎？虧得趙匡胤大度，不僅沒有對趙普怎麼樣，還擠出一絲笑容朝著曹彬言道：「愛卿休要緊張。宰相有些性急，說出一點重話來也在所難免。你且歇歇氣，然後慢慢告訴朕，在你看來，這仗還能不能再打下去了？」
曹彬說了實話：「皇上，依臣微見，這仗不能再打下去了，且臣以為，早一點撤軍，就少一點損失……」
說完，曹彬暗暗地注視著皇上的臉，卻見趙匡胤轉向趙普道：「宰相，你以為曹愛卿所言如何啊？」
趙匡胤這是明知故問了。趙普回答得也很得體：「稟皇上，臣以為曹大人所言十分地精當！」
「那好吧！」趙匡胤忙道，「就依曹愛卿所言，待大雨一停，就立刻班師回朝！」
趙匡胤終於做出了撤軍的決定。只不過，這決定的產生似乎來源於曹彬的建議而與趙普無直接關係。在這種時候，趙匡胤還暗暗地與趙普較勁兒，也著實耐人尋味。
說來也有些奇怪，趙匡胤剛一作出撤軍的決定，綿綿的大雨就漸漸地停了。以至於趙匡胤都有些納悶起來：「如果我早一點決定撤軍，那大雨是不是早就停了？」
雖然已經決定撤軍，但也得有條不紊地進行。傷兵很多，患病者更多，還有那麼多的軍需糧草。所以，趙匡胤就令李繼勳和黨進帶傷病者及軍需糧草先行南下，又命趙贊率一支部隊將太原以南的一萬多戶北漢百姓強行遷至河南、山東等地以此來削弱北漢的實力。而趙匡胤自己則與趙普、曹彬等人一道領一支萬餘人的宋軍殿後掩護。
曹彬本是勸趙匡胤隨立繼勳和黨進一同先行南歸的，趙匡胤卻道：「大宋官兵為朕拋頭顱灑熱血，最終卻無功而返，朕如何還能先行南撤？朕雖然不能與他們一般浴血疆場，但總可以同你一起為他們斷後吧？」
不難聽出，趙匡胤對此次北伐多少有了些悔意。曹彬無奈，只好又去勸趙普與李繼勳等人先走。趙普勃然作色道：「曹大人，皇上斷後，趙普若先走，此為不忠。趙普與曹大人本是兄弟，整理發佈於Paoshuom如果趙普棄曹大人而先行南下，此乃不義。曹大人又何必陷趙普於不忠不義之地？」
這樣一來，曹彬就只要與皇上和宰相同行了。沒承想，趙匡胤和趙普差一點就被北漢軍隊捉了去。
那是一個還算晴朗的日子，趙匡胤、趙普和曹彬率萬餘宋軍開始從太原南郊撤退了。雖無雨，也無風，但因為道路太過泥濘，行走實在不便，所以，趙匡胤等人緊走慢走了一整天，也只不過走五十多里。
天黑的時候，殿後的宋軍走到了汾河東岸的一個叫小店的村莊（太原以南約五十里處）。雖然一天沒跑多少路，但宋軍卻也是人困馬乏。趙匡胤對曹彬吩咐道：「官兵們也都累了。就在此地歇息一宿吧！」
小店雖小，但因為村裡的百姓都叫先行的宋軍帶走了，所以村莊就很空。當然了，萬餘宋軍一下子開進了小店，村莊就立刻擠得滿滿噹噹的了。
趙匡胤和趙普是在一間小屋裡休息的。小屋裡有兩張舊床，趙匡胤躺在一張比較大的床上，趙普則躺在一張比較小的床上。屋裡很悶熱，蚊蟲還不知疲倦地唱個不停。曹彬本想叫幾個士兵來為皇上和宰相趕蚊子，卻被趙匡胤一口拒絕了。
雖然很疲倦，但趙匡胤和趙普卻誰也睡不著。這倒不是因為什麼天氣悶熱、蚊子叮咬的緣故。即使此刻趙匡胤躺在龍床上、趙普躺在自己的家裡，恐二人也難以合眼。箇中原因，當然是此次北伐失敗了。
不過，倆人雖然都睡不著，但彷彿心照不宣似的，倆人誰也沒有提及北伐之事，誰也沒有多說話。在子夜之前，倆人都只各說了一句話。
趙普說的是：「在如此惡劣的環境中休息，真是太委屈皇上了！」
趙匡胤說的是：「委屈了朕，也委屈了你趙大人！」
說完了之後，倆人又不約而同地緘默了。如果此時能下一場暴雨，也許會沖淡這小屋內的沉默氣氛。然而，今夜偏偏沒有雨，夜空中還有幾顆模糊的星星在眨眼。
但子夜過後，趙匡胤和趙普話就多了起來。因為小屋外有人高叫道：「漢匪打過來了！」
趙匡胤和趙普幾乎同時爬起了身，而且幾乎是同時跳下了地。不同的是，趙匡胤跳下地的時候，手裡拿著一把劍，而趙普沒有劍，所以只能空著雙手。
趙匡胤長劍一舞道：「劉繼元真是欺人太甚！」
趙普雙手一揮道：「是可忍孰不可忍？」
這時，那曹彬一頭撞進了小屋。趙匡胤忙著問道：「偷襲的漢匪有多少人？」
曹彬氣喘吁吁地回道：「具體數目不知……臣聞聽有漢匪來襲，便忙著跑來護駕。」
趙匡胤急道：「曹彬，現在不是護駕的時候，你快去組織兵馬把漢匪擊退！」
趙普也道：「是啊，曹大人，只要你把漢匪擊退，皇上也就安全了！」