當且提侯看到漢軍衝了上來，急忙下令部下不必再管那些敗逃的各部士卒，全力對抗漢軍，於是，他率領散亂隊形的部下與同樣散亂的李息、李朔混戰在一起。至此，整個余吾水河的北岸一片喊殺聲，雙方在左、中、右三個戰場大戰在一起。
東邊，趙破虜、蘇建及李沮的三萬邊軍與烏師廬指揮的五萬匈奴人展開混戰，雙方都已經傷亡慘重，一時都無法置對方於死地；中路，李息和李朔的兩萬多人把且提侯率領兩萬匈奴騎兵打得節節敗退，正在向烏維的中軍挺進；西邊，霍光指揮長水、胡騎、屯騎、期門四營北軍已經包圍了句黎湖的三萬人馬。現在劉據和烏維手中都只剩一萬左右的預備隊了，劉據已經把徐自為的越騎營調到中間，準備隨時應付烏維最後的反擊。
烏維沒有進行反擊，他最後這一萬人根本不知道應該往哪裡沖，東邊肯定是不能去的，那裡就像一個巨大的吸盤，雙方投進的八萬人怎麼也拽不出來了。他想去救右邊，右賢王句黎湖的三萬人，可一旦中間被漢軍突破，自己很可能會來不及撤出來；他也想救援中路，可漢軍還有能力支援那裡，而且一旦右邊決出了勝負，漢軍就有可能切斷自己的退路，自己同樣無法脫身。
烏維抽出配劍，高高舉起，可半天也沒說一個字，他怎麼也下不了決心。這時，前方有人飛馬趕來，帶來了且提侯的口信，他快要不住了，他勸烏維立即撤出左右兩翼的部隊，脫離戰場，由他來斷後。且提侯是少數幾個知道他要西遷的人，他也是最烏維的一個，他知道現在漢軍的力量，也清楚自己的困難，認為只有西遷才能讓匈奴生存下去。
烏維一陣苦笑，這左右兩翼他都想救，他也想撤出戰場，可漢軍會同意嗎？他們跑了那麼遠不就為了打這一仗？他們能讓自己平安地撤走嗎？烏維已經沒有了決戰前的那種豪情壯志，他很後悔沒有及時撤走，沒有聽趙信的話，沒有在開春的時候就西遷，可現在說什麼都晚了。
就在烏維思前想後的時候，又有一人快馬趕回，這次回來來的是趙能，他是發現漢軍向西調動特意趕回來提醒烏維撤軍的。他來不及向烏維行禮，老遠就開始叫道：「大單于，漢軍主力已經調到了中路和我們的右翼，快撤吧，我來斷後。」
烏維也急了，指著整個戰場對趙能說：「你看看，怎麼撤？十萬人都陷了進去，現在怎麼可能撤出來？」
趙能也管不了許多了，他大聲叫著：「能撤一個是一個，總比都死在這裡好。我去把左賢王接出來，大單于快做好撤退的準備。」
「不！」烏維不願接受失敗的事實，「決不！我是單于，我不能丟下將士自己逃走，我要把他們都救出來。」
「來不及了，」趙能指著右翼，「你看，右賢王的大旗已經倒了，他們已經敗了，用不了多久漢軍就會從那騰出更多的兵力投入到中路，只要中路再一丟，我們想撤都撤不走了。現在下決心還能救一些人，再晚的話我們都要死在這了！」
烏維順著趙能的手指看去，的確看不到句黎湖的大旗了，也不知道他是死是活，看來一切都完了。
烏維終於下了決心，他對趙能說：「你趕快去找左賢王，能撤多少撤多少。」他並不擔心自己的左翼撤下來後會被漢軍追擊，那裡的漢軍已經是強弩之末了。
烏維又對旁邊一個傳令兵說：「你去告訴左大都尉，讓他再堅持一會兒，等左賢王那裡退下來他才能退。」
等趙能和傳令兵都走了，他才咬咬牙，對身後眾將說：「撤！我們走！」說著，帶著手下一萬多人向北退去。
烏維的撤退，宣告了匈奴人這場戰役的徹底失敗，其實就算他不撤，也不可能改變什麼，只能使雙方增加更多地傷亡。
劉據和張全看到烏維撤退，也沒有急於追趕，他們想的是盡量減少已方的傷亡，畢竟匈奴人還有近十萬人在戰場沒有撤出去。劉據傳令徐自為，讓他帶隊支援李息和李朔，以最快的速度消滅中路的匈奴人，然後兵分兩路，分別支援左右兩翼。劉據的目的很明確，就算多放走一些匈奴人也無所謂，只要自己的傷亡不再擴大就行。因為他知道匈奴人不再會對大漢造成威脅，如果歷史真的重演，那麼，匈奴人將是西方人的惡夢。
當徐自為的一萬騎兵進入戰場，匈奴人徹底絕望了。且提侯再也擋不住三個營的騎兵輪番地衝鋒，他一咬牙，派出三千最精銳的重騎兵進行反衝鋒，用自殺的方式贏得了富貴的撤退時間。這三千人是他最後的本錢，不過為了能多給匈奴留點血脈，他已經顧不上許多了，他乘著這三千鐵騎發動決死衝鋒的時候，帶著周圍能找到的殘兵敗將向北退去。
李息和李朔殺得性起，兩人身先士卒，親自帶隊衝在最前面，就在他們把匈奴人殺得節節敗退的時候，一隊匈奴人的重騎兵衝了過來，兩人猝不及防，一頭撞進了敵陣，等到二人的親兵拚死把他們倆救出來的時候，兩人都受了重傷。匈奴人的三千鐵騎最後還是被漢軍包圍、殲滅，但他們拖住了李息和李朔的羽林、越騎兩營人馬，為且提侯的撤退贏得了富貴的時間。
趙能剛剛找到烏師廬的時候，漢軍已經發動了最後的突擊，他根本來不及撤出部隊，只好下達命令後讓大家自己尋找生路，他本人則帶著一小隊騎兵護著烏師廬追趕烏維去了。最慘的是句黎湖，烏維撤退時他並沒有死，他當時被優勢兵力的漢軍圍攻，所以根本沒接到撤退的命令，也不知道別人都在逃命，他一面苦撐一面等待援軍。等他發現別人都逃走的時候已經失去了最佳的突圍時機，徐自為已經帶人從中路包抄過來，句黎湖這才下令向北突圍，可他在率部突圍時死於亂軍之中，所部騎兵只有千餘人逃了出來，其餘大多戰死，少數投降。