十六國後期，公元386年，在後燕建立兩年之後，後燕國王慕容垂的外甥拓跋珪重建代國，不久改稱魏，史稱「北魏」。北魏是由一個極為落後的少數民族拓跋鮮卑部所建立，經過幾代君王的辛苦經營，先後消滅北方各個割據政權，於公元439年統一北方，從這時起，被視為北朝的起始之年。
北方政權你爭我奪這段時期，沒有外族入侵的南方政權東晉王朝卻不斷爆發內亂，在鎮壓孫恩領導的五斗米教起義中，一個參軍脫穎而出，他就是劉裕。劉裕出身寒門，從小就是孤兒，憑著自己的果敢和軍事才能一步步成為東晉的王牌悍將。在成功消滅了欲圖篡奪東晉政權的桓玄勢力後，劉裕迎回被恆玄廢掉的晉安帝司馬德宗，因匡扶晉室有功被封為侍中、車騎將軍、都督中外軍事，成為一人之下萬人之上的權臣。
劉裕為給將來登上皇帝寶座輔上厚實的政治資本，請求出兵北伐，率領晉軍佔據本來是南燕統轄的山東和河南部分地區，活捉了南燕王慕容超。第二次北伐，劉裕很輕鬆地攻下長安，活捉後秦王姚泓。此時，劉裕覺得自己稱帝的時候差不多了，急急地撤軍回建康，開始剷除異已，誅殺了劉毅、諸葛長民、司馬休之。
公元420年，劉裕逼迫東晉最後一個皇帝司馬德文禪位，改國號宋，建都建康，此為南朝的起始之年。稱帝后，劉裕沒有放過司馬德文，派人殺了他，此舉為接下去南朝後面三朝做了個很血腥很暴力的榜樣。
上面這張圖，可以看出，南朝劉宋的疆土要比東晉大出不少，擁有淮北、山東地區。
北魏和劉宋之間發生多次爭伐，其中各有勝負，總體來看，前期基本持和，後期劉宋不敵北魏，北魏曾一度打到建康江邊瀝馬，劉宋只能退守淮南，不敢再與北魏挑起戰事。