劉牢之（？-402年），字道堅，漢族，彭城（今江蘇徐州）人，生於東晉時代，自幼出生於尚武世家，從其曾祖及其父的武功表現可看出劉氏一家世代尚武。根據晉書劉牢之列傳記載：曾祖羲，以善射事晉武帝，歷北地、雁門太守。父建，有武干，為征虜將軍。世代以壯勇稱。
劉牢之中國東晉名將。官至征西將軍，都督兗、青、冀、幽、並、徐、揚州和晉陵諸軍事。出身將門，驍勇善戰。東晉太元二年（377），應募參加兗州刺史謝玄統轄的「北府兵」，初任參軍。四年，隨謝玄在盱眙（今江蘇盱眙東北）一帶擊敗前秦軍的進攻，升鷹揚將軍、廣陵相。八年，淝水之戰時，他率精兵5000夜襲駐洛澗（即洛河，今安徽淮南市東）的5萬前秦軍，並分兵斷其退路，使前秦軍腹背受敵，迅速崩潰，爭渡淮水，梁成等10名將領陣亡，士卒損失1.5萬人。初戰告捷，對整個戰爭的勝利起了重大作用。他因功晉龍驤將軍、彭城內史。九年，隨謝玄北伐，收復了今河南、山東、陝西南部等地區。後曾參與*浙東農民起義軍。淝水之戰後，東晉朝廷內爭復烈。兗、青州刺史王恭、驃騎大將軍司馬元顯、荊州刺史桓玄等為爭奪朝權，都拉攏手握強兵的劉牢之。劉對他們先靠後反，反覆無常，致使將佐逐漸離散。不久，其兵權為桓玄所奪。元興元年，被迫自縊。
劉牢之由於曾祖、父親都曾為晉朝武官，劉家世代以壯勇而著稱，劉牢之在此尚武家風下，應也長於武功，後來謝玄在京口募卒，時機一到，劉牢之便投身北府兵之中一展長才。除了尚武的家風之外，劉牢之自身條件也頗為優異。根據晉書劉牢之列傳記載：牢之面呈紫赤色，須目驚人，而沈毅多計劃。
由此看來，劉牢之除了家風尚武之外，本身亦相貌不凡，且為沈穩剛毅多計謀之人，自身良好的條件加上家風因素，奠定了劉牢之之後在北府兵中能夠佔有一席之地的基礎。
劉牢之活躍的時代背景，是在淝水之戰前後到東晉末年之間，其事業也大半在此時期，此時天下的局勢是相當混亂的，他能崛起的原因之一，是因為在淝水之戰中把握了機運。在西晉王朝滅亡之後，北方為五胡盤據，漢族勢力退據江南。公元三一七年，琅琊王司馬睿在建康即位重建晉室，是為晉元帝，史稱東晉，到公元四二0年劉裕篡晉之間，這個王朝一共維持了凡十一帝一零三年的偏安統治。東晉到孝武帝時，由謝安執政，為了應付北方前秦帝國的南侵，於是謝安命其侄謝玄籌組史上所稱之北府兵應戰，而這支軍團，後來也對東晉後來的政軍上有重大影響。劉牢之就是在此混亂的背景局勢下崛起，掌握時機，投身軍旅，後來更一度掌控北府兵兵權，對東晉末年的局勢有一定的影響力。
當時北方前秦最為強大，前秦王符堅四處用兵，逐漸統一了中國北方，並多次侵擾晉國邊境，於是朝廷商議要挑選一位能夠防禦北方的良將。太元二年（377年）十月，謝安便推薦了其侄謝玄。於是晉廷召謝玄回朝，任他為建武將軍，兗州刺史，領廣陵相、監江北諸軍事，鎮守廣陵（今江蘇揚州市）。謝玄隨即招募勇士，劉牢之與東海何謙、琅邪諸葛侃、樂安高衡、東平劉軌、西河田洛及晉陵孫無終等因為驍勇出眾而應選。謝玄以劉牢之為參軍，領精銳為前鋒，百戰百勝，號稱「北府兵」（北府即今江蘇鎮江），敵人特別畏懼「北府兵」。後前秦將領句難南侵，謝玄帶何謙等抵拒秦兵，劉牢之在盱眙獲句難輜重，得到運船無數。戰後，劉牢之被任命為鷹揚將軍、廣陵相。太元八年（383年）五月，車騎將軍桓沖率10萬大軍進攻襄陽，宣城內史胡彬率眾至壽陽，聲援桓沖。劉牢之則率2000人做為胡彬的後繼。
八月，前秦軍大舉南下，企圖滅亡東晉，統一中國（參見淝水之戰）。十月，苻融率驃騎將軍張蠔等攻破壽陽，慕容垂攻克鄖城（今湖北安陸）。胡彬得到壽陽陷落的消息，遂退保硤石（今安徽壽縣西北）。苻融命衛將軍梁成率兵5萬屯駐洛澗（今安徽淮南東淮河支流洛河），並於洛澗入淮水處設木柵切斷淮水水道，使胡彬的水軍無法東撤。謝石、謝玄的主力部隊自東向西推進，因害怕梁成，到達距離洛澗25里處便停止前進。胡彬困守硤石，糧食將盡，派人向謝石報告。不料，信使被秦軍截獲，並送至苻融處。苻融即報告苻堅，說晉兵人少，糧食不繼，宜乘機發動攻擊。苻堅得此消息，即將大軍留於項城，自領輕騎8000趕往壽陽，倍道就苻融。苻堅等至壽陽，即派在襄陽俘獲的晉將朱序前往晉營勸降。朱序仍心向東晉，便藉機對謝石說，前秦百萬大軍還沒有全部到達，應趕快攻擊其前鋒。謝石採納朱序的建議。
十一月，謝玄派劉牢之（時為鷹揚將軍、廣陵相）率「北府兵」精兵5000人擊秦軍梁成部。劉牢之在距離秦軍十里的地方，梁成阻澗列陣。劉牢之率參軍劉襲、諸葛求等奮勇渡河，於陣擊斬梁成及其弟梁雲，又分兵切斷秦軍退路。秦軍腹背受敵，潰逃，爭赴淮水，溺死1.5萬人。晉軍擒前秦揚州刺史王顯等人，乘機繳獲大批軍械物資。處於劣勢的晉軍首戰告捷，士氣振奮，乘勝水陸繼進，逕逼淝水。不久，符堅大敗，回歸長安。時秦軍的殘餘力量集結在一些小地方。太元九年（384年）正月，劉牢之進攻譙城（今河南夏邑縣北），克之，派安豐太守戴寶守衛。不久，劉牢之任龍驤將軍、彭城內史，論功被冊封為武岡縣男，食邑五百戶。
太元九年（384年）八月，謝安認為符堅剛剛被挫敗，應當乘機開拓中原，於是以謝玄為前鋒都督，率豫州刺史、冠軍將軍桓石虔等進攻前秦。謝玄軍進至下邳（今江蘇睢寧西北古邳鎮東），前秦徐州刺史趙遷棄彭城（今江蘇徐州），謝玄進據之。九月，謝玄派劉牢之攻秦兗州刺史張崇於鄄城（今屬山東），張崇棄鄄城逃奔後燕，牢之遣將軍劉襲追張崇，戰於河南，斬其東平太守楊光。劉牢之遂據鄄城，河南城堡承風歸順歸附的甚多。平定了兗州，謝玄採納督護聞人的建議，整頓漕運，保證軍糧等物資的運輸。十月，謝玄派陰陵太守高素率步騎3000進攻前秦青州（治今山東青州西北），秦青州刺史苻朗請降；又進軍冀州（治今河北冀縣），命劉牢之和濟北太守丁匡據守碻磝（今山東茌平西南），濟陽太守郭滿據守滑台（今河南滑縣東），奮武將軍顏肱渡黃河，於北岸紮營。苻堅子苻丕派將軍桑據屯黎陽（今河南浚縣東北）抵禦。謝玄命劉襲夜襲桑據，桑據逃走。苻丕惶恐求降，謝玄派晉陵太守滕恬之渡黃河，駐守黎陽。至此，兗、青、司豫等州為亞軍所據。
時後燕王慕容垂圍鄴城（今河北臨漳西南）不下，於七月撤圍。至十二月，苻丕仍然保據鄴城，沒有離開之意。慕容垂復率兵包圍鄴城，只留出苻丕西走之路。苻丕勢窮糧竭，急忙向東晉謝玄求援。謝玄派劉牢之、滕恬之等率領2萬人馬救援鄴城，苻丕長期被圍，糧運被斷，謝玄從水陸運米2000接濟苻丕。
太元十年（385年），二月，劉牢之進至枋頭（今河南浚縣西南）。苻丕發覺部將楊膺、姜讓曾上表晉廷，許諾若晉軍來援，當稱臣於晉，遂殺膺、讓。劉牢之獲悉，徘徊不進。三月，燕軍攻鄴城不下，慕容垂將北去冀州，命令撫軍大將軍慕容麟屯駐信都（今河北冀縣），樂浪王慕容溫屯中山（今河北定州），召驃騎大將軍慕容農回鄴。慕容溫派遣萬餘名士兵為慕容垂遠送軍糧，並在中山營造宮室。劉牢之進攻駐守孫就柵（今河南浚縣境內）的後燕黎陽太守劉撫，慕容垂親自率兵救援。劉牢之進軍交戰，不能取勝，於是退屯黎陽（今河南浚縣東北）。慕容垂回鄴城。四月，劉牢之於鄴城擊敗慕容垂，慕容垂退至新城。不久，又從新城北退。劉牢之沒有告訴苻丕，單獨率兵追擊，急行軍200里，至五橋澤（今河北廣宗北），由於急奪後燕戰備物資，軍隊稍微紛亂，被慕容垂趁機回擊，劉牢之大敗，死數千人。慕容隆與慕容德（慕容垂弟，後為南燕帝）率兵在五丈橋截擊劉牢之，劉牢之馳馬跳過五丈澗，單騎而逃，適逢苻丕率援軍來救，才得以入鄴城，劉牢之收集散兵，軍勢稍振，旋被召回。不久，劉牢之被任為龍驤將軍，駐守淮陰。後進戍彭城，復領太守，並討滅劉黎。
太元十三年（388年），丁零族首領翟遼定都滑台，自稱魏天王，建立*。太元十五年（390年）初，前秦將張願派兵擊破金鄉，又圍困泰山太守羊邁，劉牢之派參軍向欽之擊敗圍兵。後劉牢之敗於翟遼之子翟釗。八月，劉牢之率軍自彭城長途奔襲鄄城，一舉攻克。翟釗逃奔黎陽，造成滑台（今河南滑縣東）側翼*。劉牢之與剛收復滎陽的朱序所部晉軍兩面夾擊滑台，激戰竟日，翟遼大敗，渡河北逃，其部將張願降晉，河南丁零勢力基本肅清。
太元十八年（393年）閏七月，司馬徽在馬頭山（今安徽省懷遠南）聚眾起事，劉牢之派遣參軍竺朗之進攻，司馬徽敗死，起事失敗。時慕容氏掠廩丘，高平太守徐含遠告急，劉牢之不能救援，晉廷以其見死不救而免了他的職。
隆安元年（397年），司馬德宗繼位，史稱晉安帝，是個白癡。時會稽王司馬道子輔政，執掌朝政大權。僕射王國寶、建威將軍王緒依附司馬道子，參掌朝政。王國寶等勸說司馬道子裁減方鎮兵權，引起平北將軍王恭、鷹揚將軍殷仲堪等人不滿。王恭、殷仲堪以清君側、誅王國寶為名，聯合舉兵進逼建康（今江蘇南京）。王恭以劉牢之為府司馬，領南彭城內史，加輔國將軍。王恭使劉牢之討破王廞，讓劉牢之領晉陵太守之任。王恭本來就以才地陵物，等檄書發到京師，司馬道子為求退兵，已殺王國寶、王緒。王恭自認為威德已著，雖杖劉牢之為爪牙，但以行陣武將對他相待，對他的禮遇很薄。劉牢之自負自己有出眾作戰才能，因此深懷恥恨。