1、小人得志便猖狂
王安石離京之後，韓絳任同平章事，呂惠卿任參知政事，變法運動由韓絳、呂惠卿等人負責。剛開始，兩人感王安石提拔之恩，仍然繼續實行王安石製定的方針政策，真正是蕭規曹隨，一些兒不肯改違。因此，京城的一些人送他們二人兩個美號：韓絳稱為「傳法沙門」，呂惠卿喚做「護法善神」。
但是，過了一段時間以後，他們為了各自的利益，走上了不同的道路。
呂惠卿是個極具野心的人，王安石在位時，他是王安石變法最得力的助手，王安石離開之後，他妄圖取代王安石的地位，為了達到目的，提拔族弟呂升卿、呂和卿等人，扶持自己的勢力，打擊變法派內部的其他成員，打著變法的招牌，肆意妄為。
呂惠卿執政以後，因為與三司使曾布有嫌隙，便想拔去這個眼中釘。恰在此時，曾布上表奏稱：「市易法擾民。此種不良的政治，在秦、漢衰亂的時候，亦未曾有過；而提舉市易司呂嘉問又請販鹽鬻帛，豈不貽笑大方嗎？」
呂惠卿便以阻撓新法罪彈劾曾布，將曾布逐出京城，貶到饒州去做了知州。呂嘉問也因為趙頊討厭他，同時被免職。
呂惠卿採用呂和卿的建議，創行手實法，具體內容為：命令民間的土地、房屋、宅基地、牲畜和所有資產，都要據實估價報官，官府按估價總額抽稅，凡隱瞞不報者，重罰，舉報者有賞。這實際上就是徵收資產稅。如此一來，民間寸土尺椽，都要納徵，養雞飼牛，都要納稅，老百姓苦不堪言。
呂惠卿的所作所為激起了鄭俠的憤慨，他再次畫了一軸畫，題名為《正人君子邪曲小人事業圖》，在這幅圖中，他將唐朝的宰相進行分類，其中魏征、姚崇、宋璟等，稱為正人君子；李林甫、盧杞等，號為邪曲小人；將馮京比做君子，呂惠卿比做小人，借古諷今，呈獻給趙頊。並附上一道奏折，彈劾呂惠卿。
呂惠卿絕不容忍鄭俠對他的攻擊，在他一手操辦下，鄭俠被貶謫到偏遠的英州。本來，呂惠卿要置鄭俠於死地，但被趙頊阻止了。趙頊說鄭俠謀國而不謀身，忠誠可嘉，不可重罰。皇帝都這樣說了，呂惠卿也只能見好就收。
馮京在鄭俠遭貶之後，也被免去參政之職，出任亳州知州。因為他被鄭俠比做君子，與君子相對應的小人是呂惠卿，呂惠卿當然嚥不下這口氣，馮京被免職也就不足為奇了。
王安石的弟弟王安國，一直不贊成哥哥的新法，他曾特別過提醒王安石，說呂惠卿是個佞人、騙子，要提防這個人。
有一次，王安石正在和呂惠卿商量政事，王安國卻在外面吹笛子，王安石衝著外面的弟弟喊道：「停此鄭聲如何？」
王安國應聲回敬道：「遠此佞人如何？」
孔夫子曾說，「驅鄭聲，遠佞人。」兄弟倆的一問一答，實際上是引用了孔夫子的話。
呂惠卿當時雖然沒有說什麼，但懷恨在心。鄭俠流放英州之後，呂惠卿便以王安國與鄭俠交往甚密為由，撤掉他的職務，貶回四川老家去了。
呂惠卿將馮京、鄭俠、王安國逐出京城之後，氣焰更加囂張，處事獨斷獨行，根本不同宰相韓絳商量。他擔心王安石復出，搶了他的綵頭，索性一不做，二不休，對他的恩師王安石下黑手。
當時，山東有一個謀反案，主犯是一個親王，犯罪團伙中有一個人是王安石的朋友。本來，這件事與王安石八竿子也打不到一塊。呂惠卿欲置王安石於死地，誣陷王安石與這起謀反案有染。
呂惠卿的所作所為引起了包括宰相韓絳在內的朝中大臣的不滿，很多人強烈要求王安石復出，他們認為，只有王安石才能控制呂惠卿。
韓絳向趙頊上了一道密折，請皇上罷免呂惠卿，起用王安石，同時，他派人給王安石送去一份密函，說呂惠卿欲控告他謀反罪，叫他在七天之內趕到京城。七天之內，他可保這件事不爆發。
謀反罪是滅九族的大罪，誰要是與這樁罪沾了邊，不但自己人頭落地，九族之內的親人也要跟著遭殃。
王安石接到韓絳的密函後，知道問題很嚴重，連夜從江寧出發，騎快馬日夜兼程，果然在七天之內趕到京城。進京之後，連夜進謁趙頊。
趙頊自從王安石出京之後，似乎失去了主心骨，加之呂惠卿執政後，處事毫無章法，他便開始想念王安石了。韓絳告訴他，王安石不日將進京，奏請把呂惠卿控告王安石與謀反案有染的奏折暫緩處理。趙頊根本就不相信這件事，故將呂惠卿的奏折壓而不發。
王安石進京的當天，趙頊便接見了他，君臣二人經過半天長談，第二天，王安石官復原職。
王安石復職了，但呂惠卿沒有放棄自己的野心，他不僅不協助王安石推行新法，反而處處設置障礙，成為王安石的掣肘，妄圖搞垮王安石，取而代之。
螳螂捕蟬，黃雀在後。呂惠卿做夢也沒有想到，正當他算計別人的時候，有人已將矛頭指向了他，而這個人，就是曾為他的政治盟友的鄧綰。
王安石復出之後，很多人要取媚於他，其中御史中丞鄧綰是一個最為典型的人物。
鄧綰本來是王安石變法的助手，王安石罷職後，他倒向呂惠卿，成為呂惠卿的政治盟友，兩人狼狽為奸，對王安石落井下石，幹了一些見不得人的事，王安石復出之後，鄧綰的處境很尷尬，他知道王安石與呂惠卿兩人嫌隙已生，他不可能在兩人中間左右逢源，必須從中選一人作為自己效忠的對象。鄧綰是個聰明人，他知道呂惠卿不是王安石的對手，於是選擇了王安石。為了彌補以前的過失，重獲王安石的信任，鄧綰決定反戈一擊，出賣呂惠卿。他背著王安石，暗中與王安石的兒子王雱商量，控告呂惠卿勒索華亭商人銅錢五百萬緡。
御史蔡承禧也欲取悅於王安石，上表彈劾呂惠卿，說他欺君玩法，結黨營私。
趙頊對呂惠卿已然厭惡，看了鄧綰等人彈駭呂惠卿的奏折後，便將呂惠卿貶出京城，出任陳州知州。
三司使章惇也為鄧綰所劾，貶出京城，出任潮州知州。
韓絳是王安石復出的功臣，但王安石復出之後，因和王安石的意見不一致，萌生去意，便托病請求離職，趙頊批准了他的請求，命他出任許州知州。
王安石重新獨攬宰相大權。
2、割地七百里
契丹自慶歷二年（1042年）向宋敲了一次竹槓、兩國簽訂和約之後，三十餘年來，兩國一直相安無事。仁宗至和二年（1055年），契丹主宗真病逝，他的兒子耶律洪基繼位。
熙寧七年（1074年），遼國皇帝耶律洪基派使臣蕭禧來東京汴梁，要求與宋重新劃定邊界，聲稱要以蔚、朔、應三州之間的分水嶺土垅為界，並說宋在河東修築的營寨已經侵入遼國邊界。
宋、遼和平相處幾十年，一直是各守疆界，從未在邊界問題上發生糾紛，這次遼國突然提出要重新劃定邊界，明顯是借端生釁、找茬兒。
趙頊派太常少卿劉忱等人到代州與遼國談判，遼國的談判代表是樞密副使肖素。肖素堅稱宋、遼兩國的疆界應以分水嶺土垅為界，但經實地勘察，分水嶺上根本就找不到什麼土垅。肖素又改變了口氣，說泛指以分水嶺為界。
無論什麼山，有山就有分水嶺，分水嶺並不是一個確定的地名，肖素要求以分水嶺為兩國分界線，實在是胡攪蠻纏。
劉忱據理力爭，肖素竟然執意不從。劉忱便派人回京，將談判的情況向朝廷作了匯報。
趙頊一面命樞密院開會商議，一面親自給判相州韓琦、司空富弼、判河南府文彥博、判永興軍曾公亮幾位前任宰相寫信，請他們出主意。
韓琦最先回話。他在信中說，要攘外，必須廢除新法，國內必須團結一心；選賢任能，使天下人都心悅誠服。邊備充足了，即使盟約被破壞，也可以武力收復國土。
富弼、文彥博、曾公亮也都先後回信，內容與韓琦的觀點基本相同。
趙頊猶豫不能決。
遼主見宋廷的談判代表劉忱寸步不讓，再次派遣肖禧到汴梁遞國書，推說劉忱沒有談判的誠意，故意拖延時間，請宋廷改派他人談判。
趙頊便命天章閣待制韓縝與肖禧繼續談判，雙方仍各執一詞，毫無結果。
肖禧見索地不成，乾脆賴住在驛館不走，並放言說，如果宋不能滿足他的要求，他就不回國。
遼使為何如此肆無忌憚呢？因為他們賭宋不敢同遼國翻臉，憑借幾十年與宋打交道的經驗，他們就敢賭這一把。
趙頊見遼使耍賴，既不能滿足他的要求，又不便驅逐，覺得很為難，便徵求王安石的意見。王安石對宋、遼兩國邊界劃定的歷史情況不熟悉，建議查一下歷史資料再作處理。並推薦知制誥沈括負責這件事情。
沈括奉命到樞密院查閱歷史檔案，經過幾天翻閱，查到英宗二年與契丹訂定疆地條約及地圖。這幅地圖明確標示，宋、遼邊境以古長城為界，目前宋、遼兩國爭議的分水嶺在黃嵬山，與原定界線相隔三十餘里。沈括當即向趙頊奏明瞭情況。
趙頊驚喜地說，兩府不查考本末，幾乎把國事誤了。當即命將條約並地圖給遼國使臣蕭禧看，蕭禧的囂張氣焰才有所收斂。
趙頊賞賜沈括白金千兩，並命沈括為使臣，赴遼國就邊界問題進行談判。
沈括奉命到遼都以後，遼國宰相楊遵勖接待了他，並正式舉邊界問題談判。
沈括根據舊約，堅決不同意遼國的無理要求，談判前後進行了六輪，沈括只是據理爭論，毫無鬆口之意。楊遵勖以恫嚇的口吻說：「區區數里的地界也不肯相讓，莫非要想絕交嗎？」
沈括抗議道：「南朝遵守約定，北朝卻要廢棄前盟，是你們胡攪蠻纏，怎麼說是我們要絕交呢？」
楊遵勖見沈括理直氣壯，改口以天池為界，在得到沈括的否定後，竟然將沈括晾在驛館裡，多日不見。
沈括見遼國並無誠意，便告辭回國。他是一個有心人，在歸國途中，將沿途的山川險易、民情風俗，繪成一幅《使契丹圖》，歸來後獻給皇上。
趙頊想到如果與遼國的談判失敗，兩國必有一戰，他廣泛徵求意見，百官中有主戰的，也有言和的，他乘到慈壽宮向太皇太后請安之機，把遼國要求重新劃定邊界線的事情稟明曹太皇太后，並說萬一談判失敗，他準備出兵北伐，一舉掃去後世子孫的禍患的打算。
曹太皇太后問道：「糧草輜重，預備足了嗎？士卒甲仗，都準備好了嗎？」
趙頊不以為然地說：「這些事情都好辦。」
曹太皇太后臉色大變，責備地說：「要打仗，這是最難辦的幾件事，你反而說這些事容易得很，如此輕敵，怎麼能打勝仗？」
趙頊見曹太皇太后如此嚴厲，愣在當場。
曹太皇太后接著說：「太宗皇帝幾次北伐，就是因為糧草輜重跟不上，士兵甲仗不整而吃了敗仗，況且那時候還是用兵之際。如今天下久不用兵，士兵久未操練，且又正是大旱之後，糧餉缺乏。要知道，戰爭是國家一件不得已的事件，不到萬不得已，切不可言戰，即使有一線和平的希望，也要力求避免戰爭。只要一開戰，無論勝敗，都要耗費大量的人力、物力、財力，還要死傷無數的士兵。作為人君，對於戰爭，一定要慎之又慎。遼國違背舊約，妄爭疆界，可派遣能言語有才智的使臣同他們交涉，諭以利弊，最好是和平解決，各守舊疆，言歸於好，不可輕意言戰。不過，對於原有的防務，一定要加強，以防萬一交涉失敗，遼國突然用輕騎偷襲而導致到時手忙腳亂，難以應敵。」
趙頊諾諾連聲。
曹太皇太后語重心長地說：「遼國如果容易征服，太祖、太宗皇帝早就收復了，何必要等到今天呢？」
趙頊聽後，表示不到萬不得已，絕不言兵。
趙頊從慈壽宮出來之後，便想徵求韓琦的意見。因為韓琦在仁宗朝時，曾同范仲淹共同守邊，有豐富的作戰經驗。不料就在此時，傳來了韓琦病逝的消息，韓琦遺疏也到了京師。
趙頊想到韓琦策立二帝，歷相三朝之功，便決定停朝三天，以對韓琦的去世表示哀悼。追贈尚書令，賜謚忠獻，配享英宗廟庭。
傳說，韓琦病逝的那天夜晚，天上有一顆巨星隕落在相州城外，遠近為之震撼，後來聽說韓琦在這一夜病死，相州的百姓為之哭泣，可見韓琦深受民間的愛戴。
趙頊只得再次徵求王安石的意見。
王安石認為憑宋現有的國力，不宜與遼國開戰，不如依了遼國的請求，等到國富兵強之後，再重新奪回來。如果要征服遼國，一定要先給他一點甜頭。這叫做欲將取之，必先予之。
趙頊於是答應了遼國的條件，以遼河分水嶺為界，宋失去土地七百里，成為異日興兵的爭端。
3、擅起邊釁伐交趾
北方的邊事剛處理完，南邊又不平靜了。
中國的南方有個小國叫交趾國，太宗朝，黎桓滅丁氏篡國，太宗皇帝封黎桓為交趾郡王，黎桓歲歲來朝，年年納貢。
黎桓死後，他的兒子黎龍鉞繼位，被弟弟黎龍廷所殺。黎龍廷殺兄自立為王，仍然向宋廷納貢，真宗皇帝賜名至忠，命他世襲王封。
大中祥符三年（1010年），大校李公蘊倣傚當年黎桓故事，弒黎至忠自立，遣使朝貢。真宗也用封黎桓故事，封李公蘊為交趾郡王。李公蘊傳子李德政，李德政傳子李日尊，李日尊傳子李乾德，即現在交趾王，世襲封爵，修朝世貢不絕。
交趾國是宋朝的附屬國，屢次發生內亂，政權數易其主，宋朝並沒有出面干涉，都是事後承認改朝換代後的新主子。唯一沒有改變的是，交趾國仍然是年年納貢，歲歲來朝。兩國一直相安無事。
桂州知州沈起見得朝議開邊，章惇收峒蠻，熊本平瀘夷，王韶克河州，幾個人都因建立邊功而加官晉爵，不由心有所動，也想出兵交趾，獵取加官晉爵的資本。他派人到溪洞招募壯丁編為保伍，讓他們屯駐在廣南，派二十人分別指揮。又在融州強行設立城寨，屠殺一千多交趾人向交趾國示威。
交趾王李乾德派使臣到東京汴梁與宋評理，聲稱並沒有得罪天朝，為何要刀兵相向，殺了他們的人。
趙頊自知理虧，只得把沈起就地免職，調處州知州劉彝接替沈起，出任桂州知州。
劉彝抵任後，雖取消了廣南屯兵，卻又在邊隘屯駐重兵，建造戈船，取消與交趾互市，派兵巡邏邊防線，切斷交趾國與宋廷的交通。
宋的做法，徹底激怒了交趾王李乾德，他來了個先發制人，帶領交趾軍隊從廣府、欽州、崑崙關三路向宋發起進攻。
交趾兵抱著必死的決心，作戰非常兇猛，一路攻城拔寨，連破欽州、廉州，殺死兵、民八千餘人，直逼邕州城下。
邕州知州蘇緘雖率兵奮力抵抗，仍不敵交趾國亡命之師。在內無糧草、外無救兵的情況下，邕州陷落敵手。知州蘇緘率全家三十六口自殺而亡。邕州遭交趾人屠城之災，城中軍民五萬八千餘口慘遭屠殺。
趙頊命宣徽使郭逵為安南招討使，天章閣待制趙契為副，率兵征討交趾。
交趾的佈告傳到汴梁，說宋宰相行新法，擾亂民生，特地出兵相救。
王安石看了這些佈告，怒氣衝天，命郭逵多帶兵出征，許他調集鄜、延、河南諸舊部從征，並命召取占城、真臘兩國兵夾擊。
郭逵率兵到達長沙後，傳令占城、真臘兩國，並分兵攻打欽州、廉州。郭逵與趙契率兵向西進發。大軍走到富良江，從欽州、廉州傳來捷報，兩州已經收復。
熙寧八年（1075年），郭逵、趙契率兵在富良江與交趾兵展開決戰。交趾兵大敗，交趾王太子李洪貞在亂軍中中箭而亡，殘兵逃回交趾。宋軍奪得戰船數十艘，殺敵數千，宋軍也損兵萬餘。
郭逵率領的宋兵多為北方人，不服南方水土，加之觸犯瘴氣，很多士兵染病而亡。郭逵、趙契不敢輕進，分兵佔領廣源州、門州、思浪州、蘇茂州、桄榔縣諸地，並將前方戰況上報朝廷。
李乾德見大兵壓境，也很害怕，派人告知宋軍主帥，派使臣奉表到汴梁，請求和議。
趙頊也因宋軍已攻到富良江，惡氣已出，加之戰禍是宋邊將挑起來的，錯不在交趾，因此，也就見好就收，赦李乾德罪，允許議和。
隨後詔郭逵、趙契班師回朝；改廣源州為順州。不久，李乾德遣使進貢，並歸還俘虜的兵民。趙頊見他是真心修好，將順州賜還給李乾德，後來又將二州六縣也交還給交趾，此後，交趾沒有再叛。
4、王安石二次罷相
交趾的戰事平定了，王安石卻遇到了麻煩。
呂惠卿貶出京城，出任陳州知州以後。王安石的兒子王雱對呂惠卿加害父親的事一直耿耿於懷，欲置呂惠卿於死地而後快，恰好御史中丞鄧綰也想討好王安石，兩人一合計，決定分頭上表，請求皇上重新審理呂惠卿的案子。
呂惠卿也不是一盞省油的燈，當他得知王雱與鄧綰上表欲置他於死地時，便提前下手，向王安石發出了致命的一擊。
呂惠卿與王安石是多年的朋友，兩人過去有很多書信往來，在這些書信中，當然說了一些不足為外人道的話。呂惠卿是一個有心人，他將這些書信都完好地保存下來，預備有朝一日能派上用場。當他得知鄧綰和王雱在背後做他的文章時，他便想起了這些書信。於是，他便把這些書信都呈交給皇帝，並控告王安石在背後圖謀不軌。
在這些信中，有幾封信上有「無令上知此一帖」、「無使上知，勿令齊年知」之句，就是說，不要讓皇上知道此信中的內容。至於「齊年」是誰，當時卻沒有深究。
趙頊對這些紛亂如麻的事情早已厭倦，看了這些信後，第一次沖王安石發了脾氣。
王安石回家之後，痛罵自己的兒子，罵他不該背著自己去招惹呂惠卿。父子二人為此大吵了一場。
王雱顯然不知道呂惠卿手中藏有這些信，並且握有父親的把柄。深悔自己行動魯莽，給父親帶來災難。受父親的斥責後，心中憋氣，以致抑鬱成疾，立即就病倒了，不久，背上生出一個惡瘡。
王安石遍請郎中醫治，終究沒有挽回兒子的生命，王雱撒手歸西了。
老來喪子，是人生之大不幸。兒子的猝然離世，對王安石是一個沉重的打擊，他肝腸寸斷，萌生退意，上表請求辭職。
御史中丞鄧綰擔心王安石一去，自己失去了靠山，祿位就不保，上表奏請趙頊挽留王安石。
趙頊認為鄧綰身為御史，竟然為大臣請恩，免去鄧綰之職，貶往虢州去為知州。王安石去意更堅，力請解除職務，
熙寧九年（1076年）十月，趙頊第二次罷免了王安石的相職。
王安石帶著壯志未酬的遺憾和滿腹的傷悲離開了京城，結束了自己的政治生涯，退居金陵，潛心學問，不問政治。
王安石既退處金陵，經常書寫「福建子」三字。福建子是指呂惠卿，因為是深悔被呂惠卿所誤。
王安石罷相後，趙頊提拔吳充、王珪為同平章事，馮京知樞密院事，蔡確參知政事。
吳充與王安石是兒女親家，他一向不贊成王安石的所為，經常向趙頊奏陳新法不良，趙頊喜歡他不黨附王安石，故提拔為宰相。馮京與王安石是同年，王安石致呂惠卿私書中「勿令齊年知」一語中的齊年，指的就是馮京。趙頊事後知道了這件事，認為馮京是個賢者，召他知樞密院事。
吳充當了宰相後，欲對新法有所變革，但他認為自己才疏學淺，奏請趙頊召回司馬光、呂公著、韓維等人，又舉薦孫覺、李常、程灝等數十人。
趙頊採納了吳充的建議，召呂公著同知樞密院事，進程灝判武學。
程灝自扶溝縣進京，任職才數日，李定、何正臣便劾他學術迂闊，趨向僻易，趙頊仍命他回扶溝縣任原官去了。呂公著上疏諫阻，並沒有改變趙頊的決定。
司馬光在洛陽，得知吳充為相後，頗有更正弊政的心志，便給吳充寫了一封信，介紹一些救濟時弊的方法，並建議他全面廢除新法。
吳充並沒有採納司馬光的意見。
蔡確曾經依附王安石，王安石罷相後，他又到處說王安石的過失，顯示自己與王安石不同。吳充想要革除新法，他又說應該蕭規曹隨，遵守以前的法律。所以，王安石罷相以後，他所推行的新法仍然在繼續執行。
王安石罷相的第二年，趙頊改年號為「元豐」，並從幕後走到前台，親自主持變法。然而，變法的阻力仍然很大，很多人對新法還是喋喋不休。失去了王安石，他本來就很傷心，如今又要獨自面臨巨大的壓力，不免有些心煩，遇到一些不順心的事，更容易發火。他決定實行更為強硬的手段來推行新法，嚴懲反對變法的官員。因不滿新法而貶出京城、現任湖州太守的蘇軾，不幸成為了這次政治鬥爭的犧牲品。