與前兩次罷官不同，海瑞這一回似乎很少得到同情。
道理很簡單：上兩次海瑞反對的是個人(胡宗憲、鄢懋卿或者嘉靖皇帝)，這一回他反對的是整個官場。這個強勁的對手不論由誰出面來和海瑞對抗，都有兩個堅強的後盾：一是根深蒂固、積重難返的官場傳統，二是盤根錯節、人數眾多的文官集團。海瑞卻只有一個人。他的武器，只不過是些空洞的道德信條，早就被人束之高閣，或視為粉飾。他的資本，也只是靠不怕死掙來的名聲，一旦得罪了全體官僚，也就變得一文不值。所以，海瑞向整個官場發起的進攻，就只能是以卵擊石，不碰得頭破血流才是怪事!
顯然，海瑞同整個官場是格格不入的。這使得他在第三次鬥爭中極為孤立，就連過去大力支持他的人和享有聲譽清名的人都站到了他的敵對方面。那麼，海瑞為什麼會是這樣一個人，他又為什麼要同整個官場過不去呢？
看來，我們還必須從頭說起。
海瑞，字汝賢，一字國開，自號剛峰，正德九年(公元1515年)十二月生於海南，祖籍卻是福建。海瑞的曾祖父海答兒，洪武年間從廣州從軍到海南，就在瓊山縣左所落了籍。有學者認為海答兒可能是少數民族，甚至可能是外國人。因為元代好幾個海答兒，都是回族，而波斯十四世紀的一個地方長官，也叫海答兒。不管怎麼說，海這個姓和答兒這個名，都有些怪異。海瑞身上這些怪異的脾氣，不知和他特殊的遺傳因素有沒有關係。
海瑞的童年貧窮而不幸。父親海翰在他四歲時即已去世，留下母親謝氏(時年二十八歲)和他孤兒寡母兩人相依為命，靠著幾畝薄田和謝氏做些針線女紅維持生計。他的生存環境很差，海南歷來就是我們帝國天荒地遠的邊鄙，瓊山也是一個窮困的縣份。文人墨客望而生畏談虎色變，歷代皇帝則把它看作流放犯人以示懲罰的好地方。海瑞童年的生存環境一定是荒涼、貧窮而乏味，同時也很閉塞的。沒有京都的恢宏氣勢，市井的繁華景象，古城的人文薈萃，水鄉的悠長韻味。因此海瑞身上，也沒有與之對應的東西，比方說，沒有一個高級官員應有的雍容華貴，似乎也沒有什麼靈秀之氣和人情味兒，反倒顯得有些吝嗇、瑣屑和小氣。他的政敵攻擊他「不識大體」，倒並非誣蔑不實之詞。因為他曾規定下屬只有先交上一張謄正的公文，才能在他那裡再領一張空白的公文紙。
海瑞的家庭生活也很不幸。中國人心目中最不幸的三件事：幼年喪父，中年喪妻，晚年喪子，他都有份。他曾結過三次婚，又有兩個小妾。前兩位夫人都因與婆母不和而被休去，其中第二位夫人過門才剛剛一個月。第三位夫人則在他五十五歲時可疑地死去。第三位夫人和一位小妾先後生過三個兒子，但都不幸夭折。不孝有三，斷後為大，何況海瑞還是獨子，就更是不幸之至了。
如此算下來，同海瑞一起生活時間最長的人，大約就是他的母親謝老夫人。謝氏是一個堅強的女人，在極其困難的條件下把海瑞撫養成人，可謂嘔心瀝血，甘苦備嘗。她既是慈母，又是嚴父，曾向海瑞口授經書，後來為他擇師也謹慎而嚴格。海瑞對母親，既感謝又孝順，在南平、淳安、興國和蘇州時，都把母親接到任上一起生活。母親對他的影響也極深。史家多以為海瑞的善良、忠誠、剛毅和正直，就有他母親的影子。
不過年輕時守寡帶大兒子的老太太，心理上多少會有些問題，與兒媳的關係也不容易搞好；而一個家庭生活不幸的人，人際關係也往往緊張。史料證明，海瑞的家庭糾紛，不僅已成為政敵攻擊的口實，也為時論所不滿，謂其「篤於行誼，薄於閨閣」。其實這八字評語是海瑞祭文中的話，已經很客氣了，政敵們嘴裡說的肯定要難聽得多。中國人是十分看重家庭生活的。家倫理也就是國倫理。人們相信，一個孝敬父母的人也一定能忠於國君(所以海瑞的忠誠無人懷疑)，而一個夫妻關係不好的人也一定很難和同僚和睦相處(這是海瑞遭受攻擊最多之處)。許多中國人都認為，正如一個不會品嚐食物滋味的人也一定沒有藝術鑒賞力，一個沒有男女之情的人也一定不通人情。因此海瑞的政敵們都以幸災樂禍的口吻談論他家庭關係的緊張，並以此作為他不好合作的一個證據。
海瑞的童年生活既如此單調，家庭生活又那樣不幸，則他唯一的樂趣就只有工作。只有瘋狂的工作才能填補他心靈的缺憾。海瑞確實是個工作狂。只要是他任內的事，都會不遺餘力地去做，而不憚其細碎煩瑣。他任應天巡撫時，依例每月初二、十六兩日放告，每次受理案件竟達三四千之多，還不包括平日受理的人命、強盜和貪污案。其他職分事無鉅細，也往往躬親，幾無休息之日。這種作風，與當時文恬武嬉的官場風氣自然格格不入。誰也不願意和這樣一個古板、認真、不講情面，只知瘋狂工作而不通人情世故的人共事，更不願意讓他真的被樹為官僚的楷模，因為誰也做不到他那樣。
海瑞認為，既然太祖洪武皇帝是本朝的開國君王，既然君無戲言而太祖又制定了這些法令，既然這些法令又是完全符合聖人理想的，那麼，就應該堅決執行，不打折扣，而不能考慮執行起來有無困難。因此，他不但身體力行，對微薄的薪金毫無怨言，而且決心像—個勇敢的鬥士，向一切腐敗的行為開火。
海瑞實在太天真了。他不知道孔子的主張原本只是一種理想，也不知道本朝開國已經二百年。洪武皇帝一些心血來潮的政令，即便是在當時，有的也只是一紙具文。他當然更不知道，官場的弊病並非只有貪墨，還有危險更大的一件事情———派系鬥爭。
海瑞其實一開始就捲入了派系鬥爭，只不過他自己不知道。他既是派系鬥爭的受害者，也是派系鬥爭的受益者。他的陞官和罷官，除一次是因為得罪皇帝外，其他幾次都與派系鬥爭有關。第一次陞官，由興國知縣調升戶部主事，是因為嚴嵩倒台而他反對過嚴嵩的黨羽；第二次陞官，是因為徐階的引薦而徐階反嚴，罷官則因張居正主政而他又非張居正一黨；第三次復出，則是因為張居正已死並被問罪。但海瑞並不把自己的陞遷和朝局的變化聯繫起來。他堅持認為這是道德上善與惡鬥爭的結果：自己被重用，是正氣得到伸張；自己遭貶黜，則是邪惡佔了上風。因此他一如既往地按照自己簡單的善惡二元論思想去判斷是非決定行止：是善的就支持，是惡的就反對，而無論對方屬何派系，也無論他們與自己是有恩還是有仇。
因此，海瑞到應天巡撫任上，就拿徐階開刀。
徐階一向是支持海瑞的，他甚至是海瑞的救命恩人。海瑞因痛罵皇帝而被捕下獄，刑部參照兒子詛罵父親的條例，主張處以絞刑，被徐階壓了下來。嘉靖皇帝自己對於殺不殺海瑞也一直都很猶豫。他一會兒承認海瑞說得也有道理，一會兒又覺得不殺了這個目無君父的畜生簡直忍無可忍。徐階便找了個機會悄悄對嘉靖說：像海瑞這樣的草野狂夫，根本就不值得為他動怒。他無非明知皇上聖明，故意來找些岔子，以便沽名釣譽。皇上殺了他，反倒成全了他。不如乾脆不加罪，他也撈不著虛名，大家也更會頌揚皇上德被四海。這話雖然不中聽，但對海瑞卻是小罵大幫忙，非如此不能將其從那暴君的虎口中救出。當時徐階如果在嘉靖的耳邊煽風點火添油加醋，十個海瑞也得粉身碎骨。
海瑞出獄後，徐階對他信任提拔有加。海瑞這一階段的青雲直上，與徐階有很大關係。海瑞雖然迂闊，還不至於不識好歹。對於這位於己有救命之恩又有提攜之恩的首輔，內心十分地感激。徐階主政以後，也確實做了不少好事，比如清除了嚴嵩的黨羽，法辦坑害人的巫師，減免了四十萬兩鹽稅，人民擁護，海瑞也擁護。於是，徐階在海瑞心中，就成了一個正人君子。當徐階受到高拱、李芳等人攻擊時，海瑞是堅決站在徐階一邊的。此時海瑞對徐階，可以說是感激、敬重，還有些崇拜。
然而海瑞到應天巡撫任上後，對徐階的態度就大為改變。因為海瑞一到任，就發現此地最為嚴重的社會問題，是鄉紳豪強大量地佔有土地，使耕者無其田，而稅收無由出。這些土地，都是土豪劣紳們從農民手裡侵奪的，農民當然很想收回。聽說連皇帝都不怕的青天大老爺海瑞來了，窮苦無告的農民們便紛紛向海瑞提出控訴，據說僅松江府華亭縣(也就是現在的上海)，提出控訴的農民就達萬人之多。松江府華亭縣正是徐階的故鄉，而徐階也正是侵佔民田最多、最為小戶農民痛恨的一個大地主。徐階一家，是個大家族，幾代沒有分家，因此成員多達數千。他們一家佔有的土地，數字也很嚇人，有說二十四萬畝的，有說四十萬畝的。這麼多的土地，當然不可能是他的家人誠實勞動所得，只能來自巧取豪奪。更為嚴重的是，他們兼併土地以後，還仗勢拒交賦稅。地方官畏於徐階的官威，不敢認真催收，只好在其他自耕農身上加重盤剝，以完成徵收賦稅的任務。無法忍受的農民走投無路，又只好把土地抵押甚至奉獻給徐家，以換取保護。如此惡性循環，結果是：天怒人怨，民不聊生。
徐階一家這種損公（國家)又損人(農民）的利己行為，使清廉、正直的海瑞十分震驚，而徐階的形象，在他心目中也一落千丈。當然，上述不法行為，主要是徐階的弟弟和子侄們幹的，徐階也曾有所勸阻，但勸阻並不得力，實際上睜眼閉眼，默許放縱，姑息養奸。海瑞眼裡是揉不得沙子的，何況此事與他的原則牴觸太大：既不符合他均貧富、一天下的社會理想，又不符合他廉潔奉公、遵紀守法的政治標準，當然不能容忍和姑息。
事情最後的結果是：徐階的長子、次子和十多個豪奴被判充軍，三子被革去官職，數千家奴被遣散十之八九，掠奪的民田至少退還了一半。
對徐家的這一處分究竟是出自何人之手，史家尚有不同說法。有人認為主要是高拱和蔡國熙所為，也有人認為應該歸功於海瑞。
海瑞當時內心可能是希望徐階能主動退田，民田一退，民憤便可平息。那時要幫徐階一把，也就比較容易說話。可惜徐階很不自覺，僅僅象徵性地退了些許，便想敷衍了事，矇混過關。海瑞是個認真的人，便去催。徐階卻推諉說這些田地都是兒子的，不好做主。海瑞只好再次去信催促，說最近查閱退田名冊，得知閣下的盛德出人意表，可惜退數不多，希望再加清理。過去一些做兒子的，連父親的錯誤都可以改正，現在閣老以父親的身份，來改正兒子的過錯，應該無所不可。同時，海瑞又給首輔李春芳寫信，說徐階為小人所蒙蔽，產業之多，令人駭異。如今「民風刁險」，徐階退田如不過半，只怕對他自己不利。可見海瑞還是想維護徐階的，只是不肯犧牲原則而已。看來，退田一事，主要功在海瑞；而充軍罷官的處分，則多半出自高、蔡二人之手，並且是在海瑞罷官之後。
不管海瑞如何用心良苦，力圖在不犧牲原則的前提下保全徐階，他都等於同徐階翻了臉。官場中人依照他們以人劃線的邏輯，都已派定海瑞是背叛了徐階，變成了高拱同夥。因此這一回，海瑞已把徐階集團的人得罪了個乾淨。
然而高拱集團也不領情。因為海瑞早就得罪了高拱。隆慶元年（公元1567年)時，徐、高二人勾心鬥角。高拱的黨羽齊康彈劾徐階，說他的兒子和家人橫行鄉里為非作歹。這是事實，因此徐階也就只好請求退休。這時，朝中負責監察的官員都是徐階的親信，便群起反攻。
鬧得不可開交之際，海瑞說話了。他上了奏疏，說齊康之所以彈劾徐階，目的是讓高拱掌權。海瑞當時聲望正隆，如日中天。他的奏疏，當時是對高拱的沉重打擊。結果高拱辭職，齊康罷官。高拱東山再起後，當然要報復海瑞。他可不會因海瑞要徐階退田就放過海瑞的。
海瑞這一回還把張居正也得罪了。張居正原本是徐階一黨。他能夠成為閣臣，全因徐階的引薦。入閣以後，也一直與徐階站在一邊。徐階退休後，害怕高拱報復，也一直與張居正保持聯繫，這回當然也要拜託張居正從中斡旋。張居正認為這件事很簡單：蘇州知府雖然是蔡國熙，可應天巡撫是海瑞呀!徐階於海瑞有恩，哪有不關照之理？頂多也就再打個招呼就行了。於是張居正給海瑞去了一封信，很滑頭地要他兼顧一下「存老之體面，玄翁之美意」。存老就是徐階。徐階字存齋，所以稱他存老。玄翁就是高拱。高拱字中玄，所以稱他玄翁。當時高拱是首輔，張居正是次輔。張居正要幫徐階，又不想得罪高拱，所以這麼說。他沒有想到海瑞原則性極強而高拱報復心極重，結果不但徐階的體面未能保存，自己的面子也掃了地，因此對海瑞極為不滿。海瑞罷官後，歷次有人保薦海瑞，均因張居正從中作梗，一直沒能起復。
張居正不肯讓海瑞復職，當然還有一個原因，那就是覺得像海瑞這樣什麼事情都不肯通融的人，留在官場是個禍害。反正，海瑞現在算是把徐階、高拱、張居正都得罪了。這三個人，在當時官場中勢力極大。得罪了他們三個，也就差不多得罪了整個官場。
海瑞善良、正直、剛毅、果敢，勇於負責，不怕困難，寧折不彎，決不妥協，意志堅定，勇往直前。但正是這些優秀的品格使他四處碰壁，走投無路。
真心擁護海瑞的，大約只有貧苦的農民和百姓吧!但，在海瑞的時代，他們的擁護又頂什麼用!