許平君喝下淳於衍加了附子的藥物後，隨即感到極不舒服。附子使她的心率加速、血管硬化。不久，產後虛弱的許平君覺得心煩意亂，坐臥不安。她告訴身邊的人今天服用的藥物可能有毒，可是太醫和淳於衍等人親口喝了許平君尚未喝完的藥，並沒有什麼不良反應。大家只好去安慰無助的年輕皇后。當天，許平君就去世了，年僅19歲。她是劉病已的第一位皇后，但皇后只做了不到3年。
許平君死後，劉病已悲痛欲絕，盛怒之下喝令嚴查死因。太醫們商議的結論是許皇后產後虛弱，正常死亡。劉病已不相信，讓朝臣參與調查。但是許平君周圍的人在服用了同一碗藥之後都安然無恙，並無不適。朝廷有關部門將所有的醫生和宮女都抓捕起來嚴刑拷問，也沒有問出所以然來，大家就只好將許皇后的死因歸結為產後不適。劉病已如此反覆了多次，都找不到真正的原因，不得不接受悲痛的現實。
許平君被追諡為恭哀皇后，下葬在長安南邊的杜縣——那裡是劉病已卑微的時候成長和流連的地方，也是他和許平君經常遊玩的場所。若干年後，劉病已將自己的陵墓也選在了那裡。
許平君死後，霍成君成了新皇后，她是劉病已的第二位皇后，但是劉病已並不愛她。
客觀地說，霍成君是個比較努力的皇后，並非大奸大惡之人。她知道自己的丈夫深愛著死去的皇后。她就以許平君為榜樣，讓自己的言行向許平君靠攏，希望能夠借此驅除許平君的早逝在丈夫心中留下的陰影。霍成君成為皇后之後，像許平君一樣每日拜見皇太后，對宮人和大臣們謙虛謹慎，勉強學到了幾分。但是霍成君與許平君畢竟是成長環境完全不同的兩個人，許平君是在貧寒的民間成長的，霍成君則是在蜜罐中泡大的，大貴族家庭的奢華、虛榮和偽善在她身上留下了或深或淺的印記。許平君做皇后的時候，勤儉節約，平易近人；霍成君做皇后之後，車馬儀仗盛大無比，對宮人大臣經常賞賜，動輒以千萬錢計算。她還常常召見霍家親戚進宮聊天遊玩。霍家親戚在宮中毫不忌諱，飛揚跋扈。
這一切無法讓劉病已對霍成君產生愛意，但是劉病已知道霍成君的背後有龐大的霍家勢力，自己還不能與霍家硬碰硬地對抗。他繼續韜光養晦，壓抑著對霍成君的不滿。相反他慢慢學會了以親暱、疼愛的姿態對待霍成君，甚至包容她的缺點。在外人看來，皇上已經將對許平君的愛轉移到了新的皇后身上。霍光和顯夫妻兩人也非常高興。
劉病已將對許平君的愛和思念深深埋藏在心底。他很早就立許皇后生下的兒子劉奭為太子。劉奭並非一個德才出眾的王子，劉病已對他也常常有所不滿。但是出於對劉奭生母許平君的深愛和懷念，也出於對劉奭幼年喪母的愧疚，劉病已始終盡力教導他，沒有行廢立之舉。
對整個霍氏家族，劉病已起初都非常尊寵。即位的第二年，他就下詔說：「大司馬、大將軍霍光宿衛忠正，宣德明恩，守節乘誼，以安宗廟。我要以河北、東武陽等地的一萬七千戶增加霍光的食邑。」至此，霍光的食邑達到了超乎尋常的兩萬戶。他還前後獲得賞賜黃金七千斤，錢六千萬，雜繒三萬匹，奴婢百七十人，馬兩千匹，甲第一區。霍光的兒子霍禹和哥哥的孫子霍雲都擔任中郎將職務；霍雲的弟弟霍山擔任奉車都尉、侍中，掌握軍隊；霍光的兩個女婿為東西兩宮的衛尉；霍家的子弟和親屬在朝野擔任諸曹大夫、騎都尉、給事中的不計其數。史載：「黨親連體，根據於朝廷。」
劉病已即位時，其實已經是成年人了。霍光在劉病已即位不久，就表示要歸政皇帝。但是劉病已謙讓，不肯接受，規定朝廷諸事都先稟告霍光，然後再上奏天子。
後人並不清楚霍光在劉病已即位之初主動要求歸政是真心實意還是虛情假意。也許他真的沒有野心，覺得自己的確心力不足，要求退休。但是劉病已久在民間遊走，社會閱歷和經驗並不淺。他寧肯相信霍光是有野心的權臣，寧肯相信霍光歸政是假意試探，做好最壞的準備，也不願相信霍光是真心歸政。霍光每次朝見皇帝的時候，劉病已都虛己斂容，恭恭敬敬。我們不知道霍光是否一直被劉病已蒙在鼓裡，也不知道劉病已是否曾經相信過霍光，殘酷的政治現實和血染的歷史讓劉病已只能採取這樣的對策。
如果霍光真的是一個沒有野心的干臣，那他真是太委屈了。
四清除霍氏家族
霍光死後，霍家幾乎遭受了族誅的厄運。
霍光秉政前後20年，終於在地節二年（公元前68年）春病重。劉病已親自光臨霍家詢問病情。在病榻旁，劉病已垂涕哭泣。霍光上書謝恩說：「請求朝廷分我的食邑三千戶，用來封我哥哥的孫子、奉車都尉霍山為列侯，以侍奉我哥哥原驃騎將軍霍去病的祭祀。」可見霍光對哥哥霍去病有著很深的感情，也表明他臨死的時候都想著霍家的延續和發達。
劉病已沒有輕易答應霍光的臨終請求，而是採取了冷處理的方法。他將霍光的請求發到朝廷中，交給丞相、御史等大臣慢慢討論。為了安撫霍家，劉病已即日拜霍光的兒子霍禹為右將軍。
沒過幾天，霍光死去，劉病已和皇太后都親臨葬禮。霍光死後，朝廷中再也找不出第二個像他那樣有權勢和功績的大臣，劉病已的年齡也越來越大了，因此開始親政。當時，霍山還擔任尚書一職。劉病已下令，官民上奏不經過尚書，群臣覲見獨來獨往。於是霍氏開始有了大權旁落的感覺，厭惡起劉病已來。
不久，御史大夫魏相兼任了給事中，侍奉在皇帝左右。顯就對霍禹、霍雲、霍山說：「你們幾個人不能繼承大將軍的余業。現在讓一個大夫擔任了給事中，他人如果從中離間，你們還能自救嗎？」後來霍家和魏相家的家奴爭道，霍氏的家奴直接去御史大夫的府邸興師問罪。魏相親自出門叩頭謝罪，霍家的家奴這才揚長而去。其他人將這件事情告訴霍氏，顯等人隱隱發起愁來。天真的要變了嗎？
許平君皇后的死成了變天的突破口。當初許皇后暴崩的時候，有關部門抓捕了相關的醫生和宮女嚴刑拷問，結果也沒問出什麼來。其實在將淳於衍下獄拷問的時候，獄吏問得很急很凶。顯害怕自己買通宮人謀害皇后的事情敗露，在官府審訊醫生等人的時候就將全部實情告訴了丈夫霍光。霍光在真相面前大驚失色，他知道謀害皇后大逆不道，是誅滅滿門的大罪。霍光想去告發妻子，但他是一個重家庭的人，最終他還是不忍心告發，相反還按照顯的意思給審訊部門施加壓力，定淳於衍等人無罪。
霍光死後，當年的謀殺案件開始一絲絲地敗露出來。劉病已異常震驚，促使他下了提前除去霍氏家族的決心。表面上，劉病已依然不動聲色，暗地裡卻開始向霍家開刀。霍家經過二十多年的經營，勢力在朝野盤根錯節，其中的關鍵人物還掌握著中央的兵權。劉病已就先從除去霍家兵權、清理霍氏官吏開始。他一是以正常調動的做法剝奪霍家人的兵權；二是將霍氏官吏調離京城，轉任地方官，逐步收回實權。劉病已一連串的舉措按步驟排序如下：
姓名與霍光關係原官爵現官職變化
范明友霍光女婿度遼將軍、未央衛尉、平陵侯光祿勳朝廷收了范明友度遼將軍印綬，現讓他專任光祿勳。
任勝霍光女婿諸吏中郎將、羽林監安定太守任勝本來掌握禁衛軍的指揮權，現讓他去河西走廊守關去了。
張朔霍光侄女婿給事中、光祿大夫、蜀郡太守張朔原本在宮中，是近臣，現讓他去四川做地方官了。
王漢霍光孫女婿中郎將、武威太守王漢情況與任勝相似，現在去了更加偏遠的武威郡。
鄧廣漢霍光女婿長樂衛尉少府鄧廣漢本來掌握長樂宮的軍隊，現讓他去擔任主管皇宮錢財的少府了。
霍禹霍光兒子右將軍、大司馬霍禹被剝奪了軍權。
趙平霍光女婿散騎、騎都尉、光祿大夫將屯兵免去軍職：朝廷收了趙平的騎都尉印綬，剝奪了他的軍權。
這一連串的變動短短十幾天就完成了。令人眼花繚亂的職務變動中，值得一提的有兩點：第一，原先皇宮的守衛都由霍家的女婿們負責，他們掌握著中央的軍隊，現在霍氏勢力全被清理出了中央軍隊。中央諸將領胡越騎、羽林及兩宮衛將屯兵都改由劉病已所親信的妻家許氏和舅家史氏的子弟統帥。劉病已由此掌握了軍隊，為之後的政治舉措奠定了強有力的基礎；第二，霍禹雖然由右將軍被提升為大司馬，但是「冠小冠，亡印綬，罷其屯兵官屬」，也就是說他失去了直接指揮的直屬軍隊，只是獲得了與父親霍光同等的大司馬官職。這是典型的明升暗降。
霍光妻顯此時再次參與宮廷陰謀，無異於自取滅亡。顯對劉奭被立為太子嚴重不滿，她希望自己的外孫能夠被立為太子，以保霍家權勢和地位。儘管霍成君一直沒有生育，但是她也認為太子的位子應該為自己沒出生的外孫留著。顯憤憤地說：「太子劉奭不過是民間貧婦生的賤種，哪有資格入主大統？難道我霍家女兒日後生的兒子，就只能做一個小親王嗎？」顯不只是發發怨言，還教唆女兒霍成君去毒死劉奭。霍成君猶豫再三，始終下不了決心。她良心未泯，既不想殺人，也沒有信心。一方面霍成君不像淳於衍那樣有機謀、下得了手；另一方面，劉病已為了保護太子，精心挑選了忠心耿耿的侍從。每當他人給劉奭送來食物的時候，侍從們都一一為太子嘗毒。即便是霍皇后送來的食物，也不例外。
就在霍成君在宮中遭受現實和良心煎熬的時候，宮外的霍禹、霍山、霍雲等人見到實權被日益剝奪，多次相對啼泣，埋怨皇帝。霍禹被提升為大司馬後，始終稱病不朝。
曾任霍禹長史的太中大夫任宣前來探望上司，詢問病情。霍禹說：「我哪有病？當今皇上如果沒有我家將軍（指霍光）擁立，哪能有今天啊！現在將軍屍骨未寒，皇帝就開始排擠我們家人，寵信許史兩家。皇上奪我印綬，令人不省死。」