當霍氏家族走下坡路的時候，霍雲先生的舅父李竟先生，有一個朋友，名叫張赦。此公向李竟先生秘密建議曰：「現在宰相魏相先生，跟平恩侯許廣漢先生，大權在握，恐怕終有一天會罩到霍家頭上。但你們仍有一條生路，那就是，請霍顯老奶出面，說服她外孫女上官太后，由上官太后下令，先把魏相、許廣漢幹掉，然後一做、二不休，再把劉詢先生驅下寶座，另換上一個皇帝，才是釜底抽薪的上策。」問題是，當霍氏家族掌握兵權的時候，這主意是好主意，因為它有成功的可能性。如今，兵權既去，等於丟了刀子再去打老虎，這主意便是餿主意，而且是可怕的餿主意矣。尤其糟的是，這種可怕的餿主意，卻不能保密，竟被霍家的馬伕聽了去。恰巧長安的一個小市民張章先生，跟馬伕是朋友，前來投靠馬伕，馬伕好心腸，留他在宿舍住下。落魄的人心神不寧，一時難以入夢，馬伕們卻以為他睡啦，對這件事竊竊私語兼紛紛議論。張章先生—一聽到耳朵裡，暗喜日：「富貴榮華，在此一舉。」第二天，他就寫了一份檢舉函，向皇帝直接告密。前已言之，從前任何奏章，都要經過「領尚書事」（皇宮機要秘書長）一關，現在則不再經過啦，所以，這份檢舉函直接就送到劉詢先生那裡。司法部（廷尉）立即採取行動，把李竟先生捉住，並下令首都衛戍司令官（執金吾），逮捕聞風逃走的張赦先生。
可是，稍後不久，劉詢先生吩咐不再追究，並且把李竟先生釋放。罷黜皇帝，是一個非同小可，足以引起千萬人頭落地的陰謀，忽然稀鬆平常地消滅於無形，反而使霍氏家族更為恐慌。他們瞭解，是因為事情牽連到當太皇太后的上官女士，只不過暫時地按兵不動，暴風雨仍在醞釀。偏偏李竟先生在司法部（廷尉）留下不利於霍家的口供——這應該在意料之中。於是，劉詢先生認為，機要秘書長霍山先生，首都衛戍部隊副司令官霍雲先生，已不適合繼續擔任高級官員，勒令他們退休，但仍保持他們的侯爵。至此，霍氏家族中，除了霍禹先生仍當一個架空了的國防部長（大司馬）外，其他的全都被逐出權力中樞。而劉詢先生對唯一尚留在政府中的霍禹先生，也不再維持昔日的禮遇，不時地露出使霍禹先生難堪的嘴臉。霍顯女士的一些女兒們，都是上官太后的姨媽，不但輩份高，年齡也比較長，平常每次進宮，跟上官太后擠在一起，嘰嘰喳喳，骨肉情深，現在也成了罪狀。有一天，劉詢先生聲色俱厲地質問霍禹先生：霍家婦女普見上官太后時，為啥不遵守皇家禮節？所謂皇家禮節，就是磕頭跪拜的奴才禮節。劉詢先生又順便質問：馮子都是誰？仗著誰的權勢，竟敢在長安欺善凌弱？問得霍禹先生啞口無言，渾身大汗。嗚呼，霍家從來沒有受過這種面對面的侮辱，而侮辱是更大災禍的前兆。膽小的開始魂不附體，膽大的則一肚子憤怒——一種惡人受挫後所產生的憤怒，誓言霍家決不再繼續接受這種侮辱啦，必須採取緊急反應。老太婆霍顯女士，身為一家之主，更忐忑不安，她曾夢見霍光先生警告她：「你知道不知道，就要逮捕兒輩乎？」霍禹先生也夢見成隊的騎兵和囚車，前來執行逮捕。而且，怪異的事，層出不窮，《漢書》記載曰：「家裡的老鼠忽然增多，竄來竄去，有時竟撞到人身上。[號鳥]就在庭院樹上築巢，發出毛骨悚然的叫聲。大門無故塌掉，有人彷彿看見鬼魂就坐在霍雲先生的房子上，掀起屋瓦，扔到地下。」
——老鼠忽然增多，顯然是因為霍家已陷於重大危險，家人上下，朝不保夕，已沒人再去整理環境。大門塌掉，屋瓦自落，更說明缺乏照料，任它頹壞。[號鳥]鳥，Strixuralersis也，俗稱貓頭鷹，是生長在幽靜叢林裡的動物。它閣下的眼睛，在陽光下看不見東西，所以白天只好睡大覺，晚上才出來上班。事實上它根本不可能進入有人居住的人家，無論這人家是不是深宅大院。而它竟然進入啦，」再一次說明霍家的人精神恍惚，眾心渙散，不要說貓頭鷹在樹上築巢沒人去管，恐怕就是老虎闖到廚房，都沒人管矣。任何煊赫的官宦世家，一旦失去權勢，第一個現象就是住宅的荒蕪。嗟夫，不僅霍家如此，古今中外，從無例外。