蔣介石第二次下野發生在1931年12月。此次下野一方面是由於蔣的誤國政策所致，另一方面也是國民黨內派係爭斗的結果。
早在1931年7月23日，蔣介石在一次講話中，首次提出了「攘外必先安內」的反動方針。由於蔣介石將此方針付諸實踐，遂招致國內階級、黨派矛盾激化，綜合國力下降，同時縱容了日本帝國主義對中國的侵略。正是在這一背景之下，日本帝國主義於1931年9月18日製造了入侵中國東北的事件。面對日寇對中國的步步入侵，蔣介石仍不放棄「攘外必先安內」的誤國政策，並宣稱對日作戰「3月必亡」。蔣介石的倒行逆施，激起了全國人民的反對；同時，此一形勢也為蔣介石的反對派所利用。
本來在中原大戰結束後，蔣介石取得了軍事上的絕對勝利，但他得意忘形，為了實現其「武力統一」的野心，一方面對中共蘇區實行「全面清剿」，一方面提出召開國民會議的主張，企圖通過這個會議，制定一部設置「大總統」的約法，並把他推上「大總統」的寶座。
當時政界要人吳稚暉、陳立夫、劉健群等對蔣的主張均表示支持。惟國民黨中央常委會主席、立法院長胡漢民堅決反對。胡的理由是：國民會議的任務是統一全國國民的心志，以謀中國之統一與建設。它不是國民大會，因而不具有選舉、罷免、創製、復決等四權。胡還認為，孫中山的建國大綱及第一次全國代表大會宣言中之對內政綱，較任何約法都完備，無需再作欽定式之約法。
由於胡漢民的主張成了蔣介石當選總統的絆腳石，迫使蔣千方百計地企圖搬掉他。當合法手段達不到目的時，蔣便於1931年2月28日夜以非法手段扣押了胡漢民。
胡漢民被扣，引起社會轟動與反蔣派的激烈反彈。胡漢民派的中央委員紛紛到各地串聯反蔣；孫科的再造派離寧去粵；古應芬、陳濟棠等準備在廣州舉旗反蔣。蔣也準備應戰，一時戰雲密佈。
正當戰端即開之際，日本帝國主義發動了入侵中國東北的「九一八」事變。國人紛紛要求寧穗雙方息爭對外。蔣介石被迫釋放了胡漢民。10月27日，寧穗雙方代表在上海召開和平會議，反蔣派仍以蔣介石下野與改組南京政府為和平解決的條件。
在全國人民抗日輿論與粵方的強大壓力下，蔣介石於1931年12月15日辭去國民政府主席、三軍總司令兼行政院長等職，再施以退為進之計。
蔣介石下野後，國民政府改為合議制，林森出任國民政府主席，孫科任行政院長，張繼任立法院長。蔣雖下野，但事先預作佈置，對孫科內閣取拆台政策。孫科上台本非眾望所歸，而是各派矛盾和鬥爭的產物，加之蔣下野後設置了重重障礙，使孫無力駕馭南京政府，上台後不到一個月就夭折了。蔣介石看到時機成熟，決定重新上台。他採取拉汪排胡的策略，逼走胡漢民，向汪表白「與諸同志久共患難，今身雖在野，猶願與諸將士誓同生死，盡我天職」。同時宣稱支持汪主政，他主軍。
1932年3月6日，軍事委員會恢復，蔣被推舉為委員長。蔣介石以退為進之計再度得以實現。
通觀蔣介石的兩次下台又上台，可以看出他每次下台都是外界逼迫所致，但他耍盡權術，總是以自動引退的姿態出現，變被動為主動，達到一箭雙鵰的目的。蔣的下台，每次都是權宜之計，下台的同時預為上台鋪路，還拆別人的台。
那麼他的第三次下野是否也是如此呢？今天的退卻能換回當年的榮耀嗎？
回到溪口的當夜，蔣介石草草用過晚餐，便虎著臉一言不發回到房間。陪侍於側的蔣經國忙閃身跟了進去。
「經國，」蔣介石愛憐地喚道，「不用管我，你慢慢吃，我已老邁，食少事煩。」
「父親，」蔣經國躬身垂立於一旁，畢恭畢敬道，「孩兒見父親胃口不佳，值此黨國危難之際，亦不能分憂於萬一，實在是問心有愧。」
「坐下吧，」蔣介石朝旁邊的竹椅呶了呶嘴，欣慰中卻不無憤懣，「這次我之下野，固不能說全無國際環境之影響，但其重要因素還是由於我們內在矛盾關係所致。」
「孩兒明白。」
「你明白就好。」蔣介石砸著滿嘴的假牙，歎息道，「元旦時，我徵求黨內同志有關我下野的意見時，我就說過，我這次下野，不是因為『共黨』，而是因為本黨中的某一派系。」
「孩兒以為除了父親，黨內還無人能收拾眼前殘局。」蔣經國滿臉虔誠地望著父親。
「那你的看法呢？」蔣介石瞟一眼兒子，饒有興趣地問道。
「孩兒對父親引退後可能發生的情況，有一些膚淺的分析與判斷。」蔣經國將有些冷僵的手往火爐前一伸，呼出一口熱氣道：「第一，匪軍南下渡江攻京滬。其次，如果李宗仁一味妄求和平，則正中共匪下懷。目前，共軍陳兵江北，迫李宗仁等組織聯合政府，受匪操縱，並派兵進駐南京。共產黨一旦用政治方法瓦解南京，必然各個宰割，不戰而據全國。」
「有道理。」蔣介石臉上驀然秋霜集結，點著頭道，「李德鄰（宗仁）一味妄求和平，實則喪權辱國。」
「父親總攬全局，高瞻遠矚！」受到鼓勵的蔣經國收回已烤熱的雙手，繼續說道：「如果李宗仁當政，必然撤換大批軍政要員，或由共匪加以收買，使彼等屈膝投降。」