王安石罷相以後，宋神宗還把王安石定下的新法維持了將近十年。公元１０８５年，宋神宗病死，年才十歲的太子趙煦（音ｘu）即位，就是宋哲宗。哲宗年幼，由他祖母高太后臨朝。高太后是一向反對新法的。她一臨朝，就把反對新法最激烈的司馬光召到東京擔任宰相。
司馬光是當時最有名望的大臣，陝州夏縣（今山西夏縣）人。他的名聲，從他幼小的時候已經開始傳開了。他七歲那年，就開始專心讀書。不論是大伏暑天，或者數九寒冬，他總捧著書不放，有時候連吃飯喝水都忘了。他不但讀書用功，而且很機靈。有一次，他跟小夥伴們在後院子裡玩耍。院子裡有一口大水缸，有個小孩爬到缸沿上，一不小心，掉到缸裡。缸大水深，眼看那孩子快要沒頂了。別的孩子們一見出了事，嚇得一面哭喊，一面往外跑，找大人來救。司馬光不慌不忙，順手從地上拾起一塊大石塊，使盡力氣朝水缸砸去。「砰」的一聲，水缸破了，缸裡的水流了出來，被淹在水裡的小孩也得救了。
這件偶然的事情，使幼小的司馬光出了名。東京和洛陽有人把這件事畫成圖畫，廣泛流傳。
宋神宗在位的時候，司馬光擔任翰林學士。司馬光和王安石本來是要好的朋友，後來王安石主張改革，司馬光思想保守，兩個人就談不到一塊兒去了。
王安石做了宰相以後，提出的一件件改革措施，司馬光沒有一件不反對。有一次，司馬光向宋神宗提出要求取消青苗法，同時，以老朋友的資格，寫了一封信，責備王安石侵犯其他官員的職權，惹是生非，搜刮財富，還拒不接受別人的意見。
王安石寫了一封回信，對司馬光的四條責難針鋒相對地作了反駁。信裡說：我受皇上的命令，改革法制，怎能說我侵犯別人職權；為國家辦事，怎能說我惹是生非；為天下理財，怎能說是搜刮財富；駁斥錯誤的言論，怎能說拒絕意見。
司馬光接到回信，氣得要命。但是眼看王安石有皇帝撐腰，也無可奈何。最後，他辭去朝廷職務，離開京城，到了洛陽，表示不願過問政事，關起門來寫書了。
原來，司馬光對歷史很有研究，他認為治理國家的人，一定要通曉從古以來的歷史，從歷史中吸取興盛、衰亡的經驗教訓。他又覺得，從上古到五代，歷史書實在太多，做皇帝的人沒有那麼多時間看。於是，他很早就動手編寫一本從戰國到五代的史書。宋英宗在位的時候，他把一部分稿子獻給朝廷。宋英宗覺得這本書對鞏固王朝統治有好處，十分讚賞這項工作，專門為他設立一個編寫機構，叫他繼續編下去。
宋神宗即位以後，司馬光又把編好的一部分獻給宋神宗。
宋神宗並不信司馬光的政治主張，但是對司馬光編書卻十分支持。他把自己年輕時候收藏的二千四百卷書都送給司馬光，要他好好完成這部著作。還親自為這本書起了個書名，叫《資治通鑒》（「資治」就是能幫助皇帝治理天下的意思）。
司馬光罷官回到洛陽之後，就專心寫《資治通鑒》，一共花了十九年時間，才把這部著作完成。這部書按歷史年代編寫，從戰國時期公元前４０３年到五代時期公元９５９年，記載了一千三百六十二年的歷史。
為了寫這一部巨大篇幅的著作，司馬光和他的助手們收集和整理了大量資料，除了採用歷代的正史之外，還參看各種歷史著作三百多種。據說，這部書寫成的時候，原稿足足堆放了兩間屋子。由於它的材料豐富、剪裁恰當和考證嚴格，加上文字精練生動，所以成為我國史學史上最有價值的著作之一。它對於後來的人研究歷史，提供了比較完備的資料。
在整整十九年時間裡，司馬光把全部精力放在這部著作上面，每天工作到深夜。到《資治通鑒》完成的時候，他的身體已經十分衰弱，眼睛昏花，牙齒大多脫落了。由於他在史學方面作出了貢獻，他被認為我國歷史上著名的史學家。
司馬光在洛陽寫了十多年書，但是因為他反對新法出了名，一些保守的官員都很記掛他。他雖然口口聲聲說不談政治，但是許多人還把他當作「真宰相」看待，連普通百姓也知道洛陽住著一個司馬相公。
高太后臨朝執政，把司馬光召回朝廷，司馬光已經是又老又病了。但是，他反對王安石新法卻絲毫不肯放鬆。他一當上宰相，第一件大事就是廢除新法。有人勸阻他說，神宗剛剛去世，馬上把他的政治措施改掉，總不大好吧！司馬光氣呼呼地說：「先皇帝立的法度，好的自然不要去改動，像王安石搞的那一套，卻是害民的事，為什麼不能改？再說，現在高太后執政，高太后是神宗的母親，做母親的改動兒子的主張，有什麼不可以？」
就這樣，他不顧許多官員的反對，到了第二年（公元１０８６年），就把王安石建立的新法一古腦兒廢除了。王安石聽到這個消息，當然十分生氣，不久就鬱鬱不樂地死去。而司馬光的病也越來越重，在同年九月嚥了氣。