魏晉時期，天下大亂。晉朝失去北中國的地區，在江南建立東晉*，司馬睿即位為晉元帝，定都建康（今南京）。祖逖看到自己國家失去了北方大片領土，無數同胞處於侵略者的鐵蹄之下，非常痛心，於是在京口（今江蘇鎮江）集合了一批勇士，向晉元帝建議道：「晉朝的大亂，主要是由於朝廷內部爭權，互相殘殺，使得外族乘機侵入，造成禍患。現在淪陷區的百姓都想起來反抗侵略，倘能出兵北伐，各地定會紛紛響應，中原失地，即可收復。我願充當北伐先鋒，請您下令！」
晉元帝司馬睿並沒有恢復中原的打算，但是聽祖逖說得有道理，也不好推辭，勉強答應他的請求，派他做豫州（在今河南東部和安徽北部）刺史，撥給一千個人吃的糧食和三千匹布，至於人馬和武器，叫他自己想辦法。
祖逖不顧一切困難，帶著部屬一百多家，渡江北上。船到江心，他敲著船槳發誓：「我祖逖如不能肅清中原的敵人，決不再渡此江！」祖逖的錚錚誓言極大地鼓舞了船上的勇士。他們緊握刀槍，紛紛表示要同仇敵汽，殺敵報國。
過江後到了淮陰，他們就在那裡起爐煉鐵，製造武器，同時招募士兵，加緊訓練；隨即向北挺進，祖逖治軍有方，賞罰嚴明；對戰死者，收屍埋骨，親自祭奠；對投降的敵軍將士寬厚相待，反戈有賞；所到之處，秋毫無犯。他的這些做法得到軍民的廣泛擁護，一舉大敗羯族的後趙王石勒，攻克蓬陂（今河南開封附近）等地，很快收復了黃河以南的全部領土，逼得石勒求和。
可惜晉朝統治集團內部矛盾愈演愈烈，無心抗戰，昏庸的晉元帝怕祖逖勢力太大了不好控制，還派了個戴淵當祖逖的上司來牽制他。不久，祖逖悲憤而死。
雖然沒有完成恢復中原的事業，但祖逖那中流擊楫的英雄氣概，一直被後代的人所傳誦。