宋太祖穩定了內部，雄心勃勃，準備出兵統一全國。當時，五代時期的「十國」，留下來的北方有北漢，南方還有南唐、吳越、後蜀、南漢、南平等。要統一全國，該先從哪裡下手呢？先打北漢，還是先打南方呢？宋太祖想了幾天，還是決定不下來。
一天夜裡，風雪交加。趙普正在家裡烤火取暖，忽然聽得門外一陣敲門聲。趙普心裡奇怪，這麼寒冷的夜裡，還有誰會來找他？他打開門一看，只見一個人披著斗篷，在雪地裡站著。趙普定睛一看，大吃一驚，原來來的竟是宋太祖。
趙普連忙把宋太祖請進屋裡，撥紅了炭火，在炭火上燉上肉，叫他老妻拿出酒來招待。
趙普問：「雪下得這麼大，陛下為什麼還要出來？」
宋太祖說：「我想起一件事，反正睡不著，就來找你商量一下」
趙普想了一會，說：「如果我們先打下北漢，就會受到遼朝的威脅。還不如先削平南方，回過頭來再打北漢。小小北漢，不過像彈丸一樣大，晚一點收拾也跑不了。」
宋太祖笑著說：「我們想到一起去了。」
宋太祖和趙普決定了先南後北的計劃以後，約摸花了十年時間，先後出兵消滅了南平、後蜀、南漢。這樣，南方的割據政權只留下南唐和吳越兩國。
南唐是「十國」中最大的一個割據政權，那裡土地肥沃，沒有像中原那樣遭到戰爭的破壞，所以經濟繁榮，國力富裕。但是，南唐的國主都是政治上十分昏庸無能的人，後來弄得國力漸漸衰弱下來。
最後的一個國主李煜（音ｙu），歷史上稱南唐後主，是一個著名的詞人，對詩詞、音樂、書畫，十分精通，可就是不懂得處理國事。北宋建國後，李煜每年向北宋進貢大量金銀財寶，想維持他的地位。後來，他看到宋太祖接連消滅了周圍三個小國，才著慌起來，趕快派使者給宋太祖送去一封信，表示願意取消南唐國號，自己改稱「江南國主」。但是這一點小小讓步，怎麼能改變宋太祖統一中國的決心呢。
公元９７４年九月，宋太祖派大將曹彬、潘美帶領十萬大軍分水陸兩路攻打南唐。曹彬從荊南帶領水軍沿江東下，很快就佔領了池州（今安徽貴池），進駐採石磯（今安徽馬鞍山市）。潘美帶領的步兵到了江北，被遼闊的江面擋住了進軍的道路。
有人向宋軍獻計，如果用竹筏和大船搭成浮橋，步兵就可以全部順利過江。潘美聽了這個計策，馬上趕造浮橋。這個消息傳到南唐的國都金陵（今江蘇南京市），南唐君臣正在喝酒。李後主問周圍大臣該怎麼辦？大臣說：「自古以來，沒聽說搭浮橋過江的，一定辦不成！」
後主聽了，哈哈大笑說：「我早說他們是小孩子鬧著玩罷了。」
過了三天，宋軍搭好浮橋，潘美的步兵像在陸地上行軍一樣，跨過長江。南唐的守將敗的敗，投降的投降。十萬宋軍很快就打到金陵城邊。
那時候，李後主還正在宮裡跟一批和尚道士誦經講道，宋軍到了城外，他還蒙在鼓裡呢。有一天，他到城頭上巡視，發現城外到處飄揚著宋軍旗幟，這才大吃一驚，回宮以後，派大臣徐鉉（音ｘｕaｎ）到東京去求和。
徐鉉見了宋太祖說：「李煜待陛下，就像兒子待父親一樣孝順，為什麼還要討伐他？」
宋太祖反問說：「那麼你倒說說，父親和兒子能分成兩家嗎？」
徐鉉沒話說，回到金陵向李後主回報。過了一個月，末軍圍城越來越緊，李後主又派徐鉉到東京去。
徐鉉苦苦懇求宋太祖不要進攻金陵，宋太祖聽得不耐煩，一手按住利劍，怒氣沖沖地說：「你不要多說了。李煜並沒有什麼罪。但是現在天下一家，我的床邊，怎麼能讓別人睡著打呼嚕呢！」
徐鉉眼看再懇求也沒用，只好再回到金陵。李後主聽了回報，知道求和沒有希望，連忙調動駐守上江的十五萬大軍來救。兵到皖口，受到宋軍兩路夾攻。南唐軍放火燒宋軍。哪知正碰到起北風，火反燒了自己。南唐軍全軍覆沒。
曹彬派人進城告訴李後主，勸他趁早投降，免得城裡百姓的生命財產遭到毀滅。後主還想拖下去，曹彬就下令攻城。
第二天，城被攻破了。曹彬率領宋軍整隊進城，秩序井然。李後主叫人在宮裡堆了柴草，準備放火自殺，但是畢竟沒有這個勇氣。最後還是帶著大臣出宮門，向曹彬投降。
李後主被押到東京，宋太祖對他還比較優待。但是李後主從一個盡情享樂的國君變成一個亡國的俘虜，心裡十分辛酸，每天流著眼淚過日子。他本來是寫詞的能手，在這段時期裡，寫了一些感情憂傷的詞。「問君能有幾多愁，恰似一江春水向東流。」就是他這段時期詞作中的名句。