太醫監充國無故入殿，按照律條，當處以死刑。充國是上官安的外祖父最為寵愛的人，上官桀便去找霍光求情，霍光仍不允許。上官桀無法，只好去求蓋長公主，蓋長公主交出了二十匹馬替充國贖罪，充國才減罪免死。自此以後，上官桀父子就更加痛恨霍光，感激蓋長公主。
上官桀認為，從前自己和霍光一樣，都是顧命大臣，現在反而每件事都要受霍光管轄制約，實在太不公平。於是，上官桀父子就廣結宮廷內外的宦官大臣，想乘機除掉霍光。尤其是燕王劉旦，因未得帝位，總覺心懷不滿，御史大夫桑弘羊的子弟多有失職，也對霍光懷有怨望，再加蓋長公主作為內援，在上官桀看來，確是萬無一失。
正在這個時候，霍光到廣明去校閱羽林軍，上官桀就想發難，但想來想去還是無法準備力量，不能保證事變成功。於是上官桀就和桑弘羊秘密商量，詐以劉旦的名義，上書彈劾霍光。奏疏寫道：
我聽說大臣霍光在外出校閱羽林軍時竟令先行官預先準備食物，模擬天子的出遊儀式。把沒有功的大將軍楊敞任命為搜栗都尉，又擅自調益幕府校尉，專權自恣。我懷疑他有不正常的舉措，所以願意把我的符璽歸還朝廷，回到宮裡保衛皇上，以免奸臣忽起事端，皇上遭遇不測。事關緊急，特此派快馬傳給皇上。
昭帝看後，竟無動靜，霍光聽說有人彈劾，十分恐慌，第二天上朝，不敢進去，只在殿西畫著《周公負扆圖》的那間房子裡坐著。昭帝未見霍光，就派人宣他進殿，霍光跪地免冠謝罪，昭帝說：「我知道你沒有罪，請戴上帽子起來吧！你到廣明校閱羽林軍往返才十多天，燕王劉旦怎能得知，又怎能寫信送來。況且你如果有不臣之心，又何必用校尉。這明明是有人謀害將軍，假造此書。我雖然年少，也不至於如此愚昧。」群臣聽了，無不驚服。
昭帝催促捉拿上書人，上書人就是桑弘羊，聞訊後逃到上官桀的家裡躲避，當然無法被捉到，偏偏昭帝又連日催辦，上官桀使內臣在昭帝跟前說霍光的壞話，昭帝發怒說：「大將軍是當今的忠臣，先帝囑托他輔佐我，如有人再敢妄說是非，便即處斬。」昭帝從此只親近霍光，不理上官桀。上官桀憂憤交加，計無可出，竟與兒子上官安商議了幾次，想聯絡蓋長公主及燕王劉旦，假意應許劉旦做皇帝，刺死霍光廢了昭帝，自己身登皇位。
蓋長公主同意了上官桀的計劃，劉旦得書後也十分高興，準備事成後與上官桀共享富貴。劉旦的相國勸諫說：「前次結謀，事洩未成。現在將軍上官桀秉性輕浮，車騎將軍上官安又少年驕恣，恐怕不能成事。即便僥倖成功，上官桀也反覆無常，不能相信。」劉旦不聽，堅持起兵。就在這時，燕國都城裡妖異之象紛至沓來。天忽大雨，有一長虹倒垂井中，井水竟被吸乾。天上又有鳥鵲爭鬥，紛紛墜死池中。又有群鼠噪囂殿門，跳舞而死。什麼城門無故自開，城上無故起火，大風吹折城樓，等等，不一而足。劉旦有一善於占卜的門客，他報告劉旦說：「今年恐怕有大臣被誅。」劉旦正在恐慌之間，忽有急報傳來，說是上官桀謀洩，已被逮捕。就是燕國派去的使臣，也被抓獲了。
原來，蓋長公主答應上官桀請霍光喝酒，在席間刺死他，上官桀父子以為計出萬全，萬無一失，都得意忘形了。群黨在議論這件事的時候問上官安說：「一旦廢了昭帝，您的女兒上官皇后怎麼辦？」上官安發怒道：「迫逐鹿犬還顧得上兔子嗎？」這消息從蓋長公主處和上官安家裡露出來，輾轉傳達，竟讓霍光得知。於是，先把上官桀父子誘入宮中，立即斬殺，又拿住桑弘羊，亦即殺死，其餘黨徒也一併逮捕。至於燕王劉旦，兩次謀反，決無再生之理，受詔自縊而死，從死的妃子有二十多人。蓋長公主聞變自殺。
昭帝十八歲舉行冠禮，朝政由霍光秉公主持，還算平靜，但昭帝於二十一歲病死，且無後嗣，立君又成了大問題，廣陵王是昭帝的哥哥，霍光不願立他為君，大面上的理由是因為武帝沒有看中他，且不是昭帝的下一輩，實際上恐怕考慮到廣陵王年紀已大，立為皇帝後無法駕馭，決定立武帝的李夫人之孫昌邑王劉賀為皇帝。
劉賀是個縱情聲色、荒淫無度的人，專好遊獵，半日能騎馬奔馳三百里。一日，劉賀看見面前有一隻白犬，項下似人，股中無尾，而左右的人卻偏偏並未看見。龔遂勸諫說：「這是暗示左右的人如犬戴冠，如不悔悟，恐要亡國了。」不久，劉賀又獨見一大白熊入宮，龔遂又說：「野獸入宮如入無人之境，是說宮室要空了，這是凶兆。」未幾又見血染席中，龔遂哭道：「血為陰象，陰象上升，宮室要空了。」等長安使臣到來，劉賀半夜得書，才看到數行，就高興得手舞足蹈，一幫狐朋狗友都來趨奉。第二天，劉賀起程，獨自一人策馬跑在前面，沿途搜掠婦女，勸阻無效。
劉賀即位以後，十分荒唐，毫無人君的樣子，朝野上下深以為憂。霍光受群臣委託又聯絡楊敞等人，在朝會上忽然發難，借上官皇后的名義，歷數劉賀罪狀，把劉賀削去王號，另給食邑兩千戶，仍使居昌邑。只是劉賀的那幫幫閒小丑二百多人，全被綁赴市曹斬首，有人大喊：「當斷不斷，自取其亂！」意思是後悔當初沒有殺霍光。
立君又成了大問題，有人提出，唯有武帝曾孫劉病已，流落民間，據說其美豐儀，通經術，有才具，年已十八，可立為君。據說在這一年，泰山大石自立，上林苑中大柳樹葉蟲食成文，也辨認出「公孫病已立」字樣。這皆是皇帝起於民間之兆。霍光主持迎立了劉病已，是為宣帝。當時，霍光坐在宣帝的身邊替他趕馬車去祭拜祖廟，宣帝后來回憶說當時的感覺是「如芒在背」，等換了張安世駕車後，他才安心。其實，這一方面反映了霍光的權威之大，另一方面也為霍家的敗亡埋下了伏筆。
宣帝尚未立後，當時許多人都打算讓霍光的小女兒做皇后，可宣帝卻下令訪求故劍，大家明白，這是宣帝不忘貧賤之交，只好立宣帝在民間時的結髮夫人許氏為皇后。照例應該封許氏的父親為侯，但霍光認為他已受過宮刑，是微賤之人，不能違例封侯。宣帝爭執不過，只好作罷。
宣帝即位後兩年，霍光見宣帝躬謹謙讓，也還放心，就自請歸政退休，皇帝偏不允許，並且還讓凡事先奏請霍光，然後再通報自己。這時，霍光的兒子霍禹，以及霍光的哥哥的孫子霍雲、霍山及外孫等，陸續獲取了官職，在朝廷上漸成盤踞之勢。宣帝雖是十分猜忌，但只好暫且隱忍。
霍光的繼室霍顯是個心狠手辣的女人。霍顯原是霍光的女兒的婢女，因長相姣好，為人機敏，博得了霍光的喜歡，後生了幾個子女，霍光就把她升為繼室。為了讓自己的女兒當皇后，霍顯處心積慮地想謀害許皇后。恰巧許皇后將要分娩，忽感身體不適，宣帝遍召女醫官日夕服侍，霍顯就乘機把自己的相識淳於衍推薦進宮。
許後安然生產，在服用調理藥丸時，淳於衍乘機將符子摻入。符子性熱，不宜產後服用，許後產後身體極虛，服用符子後虛熱上升，竟致殞命。宣帝十分氣憤，命令將所有醫官逮捕，淳於衍也在其內。霍顯極怕淳於衍吐露真情，連忙求霍光設法營救，霍光知道了也很害怕，但事已至此，只好去到宣帝那裡遊說，讓他放了全部醫官。此後，霍顯花巨資多次安排淳於衍，才使她不露口風。
從此開始，民間竟傳聞霍家毒死了許皇后。
不久，宣帝迎霍顯之女入宮，一年後立為皇后。宣帝地節二年（公元前68年），霍光壽終正寢。
霍後尚未生子，宣帝欲立許後所生的劉爽為太子，霍顯對女兒說：「他是皇帝微賤時所生，怎能當太子，倘若你將來生了男孩，不是要為他所制嗎？」霍顯就交給她毒藥，讓她尋機毒死太子。無奈宣帝十分小心，派人周密保護，凡太子食物都要先嘗後進，霍後始終不得下手，她經常惱恨地咒罵，逐漸露出了不悅太子的神情。宣帝敏銳地覺察到了這一點，又風聞是霍家毒死了許後，就加倍注意起來。
霍家一門三侯，霍顯尚不滿足。霍顯做了太夫人之後，無視禮法，竟擅自擴大霍光的故制，自己的生活更是紙醉金迷，尤其是與俊僕馮殷私通，鬧得沸沸揚揚，無人不知。她的這些做法，引起了公憤，許多人上書彈劾。只是宣帝念著霍光的功勞，才隱忍未發。
宣帝怕霍家勢力太大，將來生變，就逐步撤去霍禹等人的兵權。霍家已感覺到勢頭不好，尤其是彈劾之人越來越多，關於毒死許皇后的議論也越來越凶，霍雲、霍山等就找霍顯想辦法。霍顯把下毒之事告訴了他們，他們非常震驚，認為唯一的一條路就是聯絡霍氏及諸女婿一同起事，並借上官太后的名義廢了宣帝，方可無虞。誰知隔牆有耳，馬伕聽到了他們的議論，夜裡又與別人私議此事，他的朋友偷聽到後，希圖富貴，就跑到皇帝那裡告了密。霍家的謀劃至此事洩。
宣帝立刻傳令捉人，但又馬上傳命止捕，就是這樣，霍家也知謀洩，急忙聯絡諸親戚準備起事，諸親戚知道謀反必致連坐，為求一線生路，也都紛紛同意。好在又無聲息，大家就又安定了一段。
其實宣帝是在一步步地實行。他怕霍家謀反之事尚未足以傳信眾人，貿然下令逮捕，恐會遭人議論，要等到霍家充分暴露出來，才好服眾。果然，霍家的問題越來越多，名聲也越來越臭。霍家便又密謀殺了魏相，廢去宣帝，立霍禹為天子。又有人探得了這一消息，報知了宣帝。
宣帝見時機已成熟，立即派兵，凡霍氏宗族親戚，一概拿辦。霍山、霍雲服毒自殺，霍顯、霍禹被腰斬，霍氏女婿外孫，盡數處死，誅滅不下千家。
【評議】
縱觀霍光的一生，雖不能說真像周公輔佐成王那樣盡善盡美，倒也確實能盡心盡力，秉公治朝治國，至於許多處理不當的涉及個人的事，細細地推敲起來，倒也未必是霍光原意，實在是情勢所迫，無力回挽。應當說，周公輔政只是一個傳說、一種理想，而到了霍光，是實實在在的具體操作，問題十分複雜，雖想以身作則而不得，能做到霍光這個樣子，平心而論，已很不容易了。
但霍光是只知謀國，不知謀家的。他完全有理由考慮到身後家族的敗亡。其一，毒死許皇后留下了禍根；其二，二十多年的執政結怨太多，且有許多越權之事；其三，妻子霍顯起自微賤，慾壑難填，狂悖殘忍；其四，諸子孫多是輕狂之人；其五，子婿盤踞朝廷，勢力太大，極易遭忌；其六，不知收斂。這六條中的任何一條，均足以使家族敗滅，霍光卻未對任何一條做出具體的安排，更無任何善後措施，其敗亡是無可避免的。不滅在宣帝的手裡，也會滅在別人的手裡。別說還要謀反，就是謹慎處世，也決計逃脫不了，只是謀反使敗亡來得快一點兒、徹底一點兒罷了。霍光只知謀國，不知謀家，按中國傳統觀點來看，霍光不是一個上檔次的人物。