所以他拚命的拉這位功勞甚大地位甚高的李秀才下水，但李秀才並沒有上當，但他畢竟和李秀才共識多年，而且曾經一起打垮了神算劉伯溫，所以他找來了一個人，這個人是李秀才的一個故人，楊文裕來說。楊文裕來到李秀才的府上後，對李秀才說『「事成當以淮西地封為王」李秀才聽了雖然不同意，但心還是動了，胡惟庸這個人品雖然不行，看人倒還是有一套的，他發現李秀才不和他合作，便開始走親戚路線，恰好李秀才的弟弟李存義是胡惟庸的兒女親家，於是胡惟庸便把李存義拉下了水。李存義得了好處，便不停的遊說李秀才。李秀才剛開始的時候還嚴辭喝斥李存義，後來聽得多了，也就默許了，他說了一句意味深長的話：我已經老了，等我死後，你們自己看著辦吧。（吾老矣，吾死，汝等自為之） ，但他那裡知道就是這句話要了他的命。讓他身敗名裂。
很快胡惟庸放心了，因為滿朝文武都是他的人，此刻連位高權重的李秀才也是我的人了，皇帝也不敢把我怎麼了。他心裡很是高興。但很快他就發現他錯了，皇帝並不是他想像中的那麼無能，而且心比他還要陰險。因為皇帝心中早已堅信一個信念那就是：「寧可得罪君子，不可得罪小人，如果一旦得罪，那麼就見血！」所以皇帝開始對他動手了。
這一天很快到來了
不久，胡惟庸的兒子馳馬於市，墜死於車下，胡惟庸殺挽車者。皇帝知道後大怒，令其抵死，不准以金帛償其家之請
這時御史們也紛紛上疏劾李秀才：洪武二十一年（1388），將軍出塞，至捕魚兒海，擄獲元宗室大臣及寶璽、圖書、金銀印章無數，元宗室大臣中有胡惟庸暗通沙漠的使者封績，而李秀才卻匿不以聞。有的更說私書中有李秀才的親筆信。而這時，李秀才家僕盧仲歉等亦上告他與胡惟庸「通賂遺，交私語」。獄詞鍛煉完畢，皇帝說：「善長元勳國戚，知逆謀不發舉，狐疑觀望懷兩端，大逆不道。」恰好天象顯示有災變，佔得應在大臣，遂並其妻女弟侄家口七十餘人誅之。皇帝只免了他女兒女婿，也即公主附馬。
胡惟庸被伏誅後，皇帝並做《昭示奸黨錄》佈告天下。「胡黨」而受株連至死或已死而追奪爵位的開國功臣有李善長、南雄侯趙庸、滎陽侯鄭遇春、永嘉侯朱亮祖、靖寧侯等一公、二十一侯。胡惟庸被殺後，朱元璋遂罷丞相，革中書省，並嚴格規定嗣君不得再立丞相；臣下敢有奏請說立者，處以重刑。丞相廢除後，其事由六部分理，從此皇帝擁有至高無上的權力。
而在胡惟庸伏誅後，不久，這位李秀才的後代，既沒有被皇帝處死的李芳不久和公主生了一個女兒，這個女兒從小不喜在宮中，很小的時候就練就了一身的武藝出來獨自闖蕩江湖，因她是駙馬和公主的女兒，地位甚高，所以也在江湖上也沒遇到什麼壞事。