公元３８３年八月，苻堅親自帶領八十七萬大軍從長安出發。向南的大路上，煙塵滾滾，步兵、騎兵，再加上車輛、馬匹、輜重，隊伍浩浩蕩蕩，差不多拉了千把里長。
過了一個月，苻堅主力到達項城（在今河南沈丘南），益州的水軍也沿江順流東下，黃河北邊來的人馬也到了彭城（今江蘇徐州市），從東到西一萬多里長的戰線上，前秦水陸兩路進軍，向江南逼近。
這個消息傳到建康，晉孝武帝和京城的文武官員都著了慌。晉朝軍民都不願讓江南陷落在前秦手裡，大家都盼望宰相謝安拿主意。
謝安是陳郡陽夏（今河南太康）人，出身士族，年青的時候，跟王羲之是好朋友，經常在會稽東山遊覽山水，吟詩談文。他在當時的士大夫階層中名望很大，大家都認為他是個挺有才幹的人。但是他寧願隱居在東山，不願做官。有人推舉他做官，他上任一個多月，就不想幹了。當時在士大夫中間流傳著一句話：「謝安不出來做官，叫百姓怎麼辦？」
到了四十多歲的時候，他才重新出來做官。因為謝安長期隱居在東山，所以後來把他重新出來做官這樣的事稱為「東山再起」。
苻堅強大起來以後，東晉的北面邊境經常遭到秦兵的騷擾。朝廷想找一個文武全才的將軍去防守邊境。謝安把自己的侄兒謝玄推薦給孝武帝。孝武帝把謝玄封為將軍，鎮守廣陵（今江蘇揚州市），掌管江北的各路人馬。
謝玄也是個軍事人才。他到了廣陵以後，就招兵買馬，擴大武裝。當時有一批從北方逃難到東晉來的人，紛紛應徵。他們中間有個彭城人叫劉牢之，從小練得一身武藝，打仗特別勇猛。謝玄派他擔任參軍，叫他帶領一支精銳的人馬。這支人馬經過謝玄和劉牢之的嚴格訓練，成為百戰百勝的軍隊。由於這支軍隊經常駐紮在京口（今河蘇鎮河市），京口又叫「北府」，所以把它叫做「北府兵」。
這一回，苻堅率領百萬大軍進攻東晉，謝安決定自己坐鎮建康，派弟弟謝石擔任征討大都督，謝玄擔任前鋒都督，帶領八萬軍隊前往江北抗擊秦兵，又派將軍胡彬帶領水軍五千到壽陽（今安徽壽縣）去配合作戰。
謝玄手下的北府兵雖然勇猛。但是前秦的兵力比東晉大十倍，謝玄心裡到底有點緊張。出發之前，謝玄特地到謝安家去告別，請示一下這個仗怎麼打法。
哪兒知道謝安聽了像沒事一樣，輕描淡寫地回答說：「我已經有安排了。」
謝玄心裡想，謝安也許還會囑咐些什麼話。等了老半天，謝安還是不開腔。
謝玄回到家裡，心裡總不大踏實。隔了一天，又請他的朋友張玄去看謝安，托他向謝安探問一下。
謝安一見到張玄，也不跟他談什麼軍事，馬上邀請他到他山裡一座別墅去。到了那裡，還有許多名士先到了。張玄要想問，也沒有機會。
謝安請張玄陪他一起下圍棋，還跟張玄開玩笑，說要拿這座別墅做賭注，比一個輸贏。張玄是個好棋手。平常跟謝安下棋，他總是贏的。但是，這一天，張玄根本沒心思下棋，勉強應付，當然輸了。
下完了棋，謝安又請大夥兒一起賞玩山景，整整遊玩了一天，到天黑才回家。
這天晚上，他把謝石、謝玄等將領，都召集到自己家裡，把每個人的任務一件件、一樁樁交代得很清楚。大家看到謝安這樣鎮定自若，也增強了信心，高高興興地回到軍營去了。
那時候，桓沖在荊州聽到形勢危急，專門撥出三千名精兵到建康來保衛京城。謝安對派來的將士說：「我這兒已經安排好了。你們還是回去加強西面的防守吧！」
將士回到荊州告訴桓沖，桓沖很擔心。他對將士說：「謝公的氣度確實叫人欽佩，但是不懂得打仗。眼看敵人就要到了，他還那樣悠閒自在：兵力那麼少，又派一些沒經驗的年青人去指揮。我看我們準要遭難了。」