北宋滅亡以後，原來留在相州的康王趙構逃到南京（今河南商丘）。公元１１２７年五月，趙構在南京即位，這就是宋高宗。這個偏安的宋王朝，後來定都臨安（今浙江杭州），歷史上稱做南宋。
宋高宗即位以後，在輿論的壓力下，不得不把李綱召回朝廷，擔任宰相。但是實際上他信任的卻是黃潛善和汪伯彥兩個親信。
李綱提出許多抗金的主張。他還跟宋高宗說：「要收復東京，非用宗澤不可。」
宗澤是一位堅決抗金的將領，北宋滅亡之前，宋欽宗曾經派他當和議使，到金京議和。宗澤跟人說：「我這次出使，不打算活著回來。如果金人肯退兵就好；要不然，我就跟他們爭到底。寧肯丟腦袋，也不讓國家蒙受恥辱。」
宋欽宗一聽宗澤口氣那麼硬，怕他妨礙和談，就撤了他和議使的職務，派他到磁州去當地方官。
金兵第二次攻打東京的時候，宗澤領兵打擊金兵，一連打了十三次勝仗，形勢很好。他寫信給當時的康王趙構，要求他召集各路將領，會師東京；又寫信給三個將領，要他們聯合行動，救援京城。哪知道那些將領不但不願出兵，反嘲笑宗澤在說瘋話。宗澤沒辦法，只好單獨帶兵作戰。有一次，他率領的宋軍遭到金軍的包圍，金軍的兵力比宋軍大十倍。宗澤對將士說：「今天進也是死，退也是死，我們一定要從死裡殺出一條生路來。」將士們受到他的激勵，以一當百，英勇作戰，果然殺退了金軍。
宋高宗早就瞭解宗澤的勇敢，這次聽了李綱的推薦，就派宗澤為開封府知府。
這時候，金兵雖然已經撤出開封，但是開封城經過兩次大戰，城牆全部被破壞了。百姓和兵士混雜居住；再加上靠近黃河，金兵經常在北岸活動。開封城裡人心惶惶，社會秩序很亂。
宗澤在軍民中有很大的威望。他一到開封，先下了一道命令：「凡是搶劫居民財物的，一律按軍法嚴辦。」命令一下去，城裡仍舊發生了幾起搶劫案件。宗澤殺了幾個搶劫犯，秩序就漸漸安定了下來。
河北人民忍受不了金兵的掠奪燒殺，紛紛組織義軍，打擊金軍。李綱竭力主張依靠義軍力量，組織新的抗金隊伍。宗澤到了開封之後，積極聯絡義軍。河北各地義軍聽到宗澤的威名，自願接受他的指揮。
河東有個義軍首領王善，聚集了七十萬人馬，想襲擊開封。宗澤得知這個消息，單身騎馬去見王善。他流著眼淚對王善說：「現在正是國家危急的時候，如果有像您這樣的幾個英雄，同心協力抗戰，金人還敢侵犯我們嗎？」
王善被他說得流下了感動的眼淚，說：「願聽宗公指揮。」
其他義軍像楊進、王再興、李貴、王大郎，都有人馬幾萬到幾十萬。宗澤也派人去聯絡，說服他們團結一致，共同抗金。這樣一來，開封城的外圍防禦鞏固了，城裡人心安定，存糧充足，物價穩定，恢復了大亂前的局面。
但是，就在宗澤準備北上恢復中原的時刻，宋高宗和黃潛善、汪伯彥卻嫌南京不安全，準備繼續南逃。李綱因反對南逃，被宋高宗撤了職。
宗澤十分焦急，親自渡過黃河，約河北各路義軍將領共同抗擊金兵。他在開封周圍，修築二十四座堡壘，沿著黃河設立營寨，互相連接，密集得像魚鱗一樣，叫做「連珠寨」，加上河東、河北各地義軍民兵互相呼應，宋軍的防禦力量，越來越強了。
宗澤一再上奏章，要求高宗回到開封，主持抗金。但是奏章到了黃潛善等手裡，這批奸人竟取笑宗澤是個狂人，把他的奏章扣了下來。過了不久，宋高宗就從南京逃到揚州去了。
沒有多久，金兵果然又分路大舉進攻。金太宗派大將兀朮（音ｗuｚｈu，又叫宗弼）進攻開封，宗澤事先派部將分別駐守洛陽和鄭州。兀朮帶兵接近開封的時候，宗澤派出幾千精兵，繞到敵人後方，截斷敵人退路，然後又和伏兵前後夾擊，把兀朮打得狼狽逃走。
又有一次，金將宗翰率領金兵攻佔洛陽，宗澤派部將郭振民、李景良帶兵襲擊宗翰，打了敗仗。郭振民向金軍投降，李景良畏罪逃走。
宗澤派兵捉拿到李景良，責備他說：「打仗失敗，本來可以原諒；現在你私自逃走，就是目中沒有主將了。」說完，下令把李景良推出斬首。
郭振民向金軍投降之後，宗翰派了一名金將跟郭振民一起到開封，勸宗澤投降。宗澤在開封府大堂接見他們，對郭振民說：「你如果在陣上戰死，算得上一個忠義的鬼。現在你投降做了叛徒，居然還有什麼臉來見我！」說著，喝令兵士把郭振民也斬了。
宗澤又回過頭對勸降的金將冷笑一聲，說：「我守住這座城，早準備跟你們拚命。你是金朝將領，沒能耐在戰場上打仗，卻想用花言巧語來誘騙我！」
金將嚇得面無人色，只聽得宗澤吆喝一聲，幾個兵士上來，把金將也拉下去殺了。
宗澤一連殺了三人，表示了抗金的堅定決心，大大激勵了宋軍士氣。他號令嚴明，指揮靈活，接連多次打敗金兵，威名越來越大。金軍將士對宗澤又害怕，又欽佩，提到宗澤，都把他稱做宗爺爺。
宗澤依靠河北義軍，聚兵積糧，認為完全有力量收復中原，接連寫了二十幾道奏章，請高宗回到開封。不用說，那些奏章都被黃潛善他們擱了起來。
這時候，宗澤已經是快七十歲的老人了，他受不了這個氣，背上發毒瘡病倒了。部下一些將領去問候他，宗澤病已經很重。他張開眼睛激動地說：「我因為國仇不能報，心裡憂憤，才得了這個病。只要你們努力殺敵，我死了也沒有遺憾了。」
將領們聽了，個個感動得掉下熱淚。大伙離開的時候，只聽得宗澤念著唐朝詩人杜甫的兩句詩：「出師未捷身先死，長使英雄淚滿襟！」接著，又用足力氣，呼喊：「過河！過河！過河！」才闔上眼睛。
開封軍民聽到宗澤去世的消息，沒有一個不傷心得痛哭流涕。
宗澤去世後，宋朝派杜充做東京留守。杜充是個昏庸殘暴的人，一到開封，把宗澤的一切防守措施都廢除了。沒多久，中原地區又全都落在金軍手裡。