一時的榮耀，使蔣介石忽視了在一個封建國家裡進行領土征服所應注意的唯一正確的原則：
那就是——「他應該除掉那些最初反對他的人，用自己選定的人來代替這些人，而新選出的人應該忠於新生的民國，並忠於民國首腦蔣介石」。
此時，中國共產主義運動湧現出兩個傑出的人物：毛澤東和李立三。……在「文化大革命」期間，李立三由於受到忠於毛澤東的紅衛兵的刺激而自殺身亡。
蔣介石自己及外界認為他在1928年底已經取得了中國的「統一」，然而，這只不過是一個殘酷的假象。
這一假象表面顯得堂而皇之，並給人留下深刻的印象，但如果仔細觀察一下，就會發現它實質上並沒有什麼真東西。
蔣介石率軍北伐一事深得民心，這使得許多敵對部隊及其將領都投到他的麾下。但是這也帶來了這樣的問題：儘管蔣介石為了保住自己的權力而不時與各地的軍閥進行激烈的戰鬥，但他卻從沒有真正地控制他的對手或征服他們的地盤。
他們只是以一種中國傳統的方式承認蔣介百比自己強大，因而才決定順風轉舵。這就是蔣介石在戰場上為什麼能夠推進得如此迅速以及國民軍能在1928年號稱擁有200萬人，比最初的10萬人增加20倍的原因。
儘管從嚴格的意義上說，佛朗哥對西班牙的征服與蔣介石對中國的所謂征服是不可比的，但是，如果將這兩者之間的不同列舉出來，也不無益處。
佛朗哥經過了差不多32個月艱苦和血腥的戰爭才成了整個西班牙的主人，而蔣介石只花了12個月時間——其中頭9個月是在1926年和1927年之間。隨後是一個政治上的休戰時期；後3個月是在1928年4月至6月就「征服」了面積比西班牙大7倍的中原。
佛朗哥消滅了自己的敵人，在戰場上擊敗了他們，並將殘餘的敵人流放或處死，而蔣介石卻滿足於對手們形式上的屈服。
北伐開始之前的中國與1928年底的中國之主要不同在於，那些原來與國民黨為敵的軍閥後來都聲稱自己是國民黨黨員。
在大多數情況下，這些軍閥在自己的地盤內仍保留著原有的權力。
由於蔣介石急於迅速取得成功，因為這會給他帶來一時的榮耀和威望，所以，他忽視了在一個封建的國家裡進行領土征服所應注意的唯一正確的原則，那就是——
他應該除掉那些最初反對他的人，用自己選定的人來代替這些人，而新選出的人應該忠於新生的民國，並忠於民國首腦蔣介石。
蔣介石未能取得對地方的實際控制權，他很容易就滿足於地方軍閥對他的毫無意義的效忠，這是他判斷上的最大失誤。
在後來的歲月裡，蔣介石的權威多次受到地方軍閥的挑戰。雖然蔣介石總是勝利者，但這些接連不斷的地區戰爭消耗了他的力量，並使他無法集中注意力來處理中國真正面臨的問題。與此同時，中國共產黨的根據地正在日益擴大；此外，從1931年起，蔣介石還要對付日本侵略者所造成的巨大威脅。
1929年，蔣介石試圖通過裁軍來削弱地方軍閥的勢力，結果引起一場危機，這使他深切地感到自己權力之有限。其他任何事都不曾像這使他清醒地認識到這一點。
對蔣介石推崇備至的官方傳記作者霍靈頓-唐也不得不承認：
國民政府實際上只控制了幾個省。馮玉祥稱雄於北方，同時又是有名的西北王，控制了山東、河南、陝西、甘肅、青海以及寧夏等省。而蔣的對手閻錫山則從他那座落子山巒起伏的山西省的大本營中向河北、察哈爾、綏遠等省發號施令，在南方，李宗仁控制著廣東、廣西、湖南、湖北。中國實際上被分割得支離破碎，差不多可以算得上是諸侯割據……。
蔣介石只在長江下游的五個省裡享有無可爭議的權力。
裁軍成了蔣介石最關注的問題，因為地方軍閥依靠的是軍隊。蔣介石爭辯說，既然國家已經統一，戰爭已經結束，大部分軍人都應該復員，回到他們的百姓生活中去。他的這些話不無道理，只是所有的軍閥心裡都清楚，將自己的軍隊遣散，就意味著失去自己的權力源泉。於是，他們堅決反對蔣介石的復員計劃。他們這種自私的願望最終挫敗了蔣介石的企圖。
當時的局勢既荒唐又具有某種悲劇性。在國民軍佔領北京後，中國全國共有220萬軍隊。如果把各式各樣的正規軍及雜牌軍加在一起，那麼，這支軍隊在當時相對和平的世界上可以算得上是人數最多的一支軍隊。
在這支龐大的軍隊中，根據蔣介石的估計，差不多有200萬人在名義上是隸屬於國民政府的，其餘的則是一些流匪和一些不服從國民政府的軍閥的殘餘部隊。如果霍靈頓-唐的數字可信的活(這些數字也不過是個估計而已)，那麼，這200萬隸屬於國民政府的軍隊每年要花費國民政府財政收入約4億美元的75％。
蔣介石對復員人員安排早已胸有成竹，這些復員軍人應該變成一支勞動大軍，去從事修路、植樹、開發礦山等這類工作。
1929年1月中旬，蔣介石在南京召集所有高級將領開會，討論有關復員的問題。
當時，廣西的將軍們擁有一支23萬人的軍隊，馮玉祥手下擁有22萬人，閻錫山有20萬人。至於國民政府——也就是蔣介石本人一擁有大約42萬軍隊。李宗仁、馮玉祥、閻錫山等人很快就意識到蔣介石的裁軍建議是大規模地裁減他們的軍隊，同時又加強他自己的軍隊(這些軍隊在名義上隸屬於中華民國中央政府)。
馮玉祥回憶說，在這次會議開始的時候，蔣介石將所有的與會者領到一幅孫中山的畫像前，堅持要每個人都向畫像宣誓效忠。
然後，他提出各路軍應該只保留12個師，然後將其餘的人員遣散。這時，一個小軍閥指出，根據蔣介石的提議，那些編製不足12個師的兵團、不得不再招六、七師才能湊足12個師。
蔣介石對這個小軍閥提的問題未加理睬，而他自己的部隊則剛在北京附近擴編了十幾個師。
會議就一件事正式取得了一致，那就是將全國劃為6個裁員區。這件事使人感到彆扭，有點像是在做交易，故軍閥們心中漸漸感到不安。
一天下午，蔣介石邀請馮玉祥去南京郊外洗溫泉浴。當他們洗完用毛巾擦身的時候，蔣介石說：「人們常說，誰控制了北京、廣東、上海和武漢，誰就控制了全中國。」馮玉祥認為蔣介石這是向他暗示，讓他對控制著這些地區的軍閥採取行動，他含糊其詞地回答說：「作為一個全國性的領導人，你必須大度一些，只要你能贏得軍隊和民眾的支持，他們佔領了這些地方也無關緊要，他們也都將是你手下的兄弟，」
會議持續了三個星期。2月7日那天，馮玉祥突然中途退席，致使會議就此收場。
中國大地很快重新燃起了戰火。李宗仁和其他廣西軍閥首先採取了行動，他們將矛頭對準蔣介石在湖南的一位將軍，並把他趕下了台，這是李宗仁、馮玉祥脫離國民政府的一個信號。
這些富於戲劇性的步驟發生在國民黨第三次全國代表大會的籌備期間，這次大會定於3月份在南京召開。
廣西的一個將軍從廣東出發，前往南京去參加這次大會，並得到了國民黨的安全保證，但當他一到達南京，蔣介石就下令將他逮捕。蔣介石解釋說，有確鑿的證據表明，該將軍參與了陰謀活動。
蔣介石的左派對手汪精衛就此事從法國發來一份長電譴責蔣介石，而蔣介石卻認為汪精衛、馮玉祥、閻錫山三人選入中央執行委員會就能安撫他們，但是，汪精衛根本不吃這一套，而馮玉祥則回到了山東，閻錫山對當選中執委的興趣也不大。
在這種背景下，國民黨「三大」開得很不平靜——因為那些或多或少仍效忠於蔣介石的人不願投票支持那些反對蔣介石的人。
由於力量過於分散，再加上一名將領被逮捕，而另一位駐守北方的將領也因兵變而突然下台，桂軍戰鬥力逐步減弱，並隱於一片混亂之中，很快就崩潰了。4月底，蔣介石在華中取得了勝利。
基督將軍馮玉祥是蔣介石接下來要對付的人。當馮玉祥在2月份從裁軍會上中途退席之後，他所要達到的第一個目標是加強自己對山東的控制。當時，在經過長期的談判之後，日本軍隊已準備撤離膠濟線。
令馮玉祥和日本人吃驚的是，蔣介石要求日本人暫緩撤離，以便讓他自己的軍隊——而不是馮玉祥的軍隊——接管日本人撤離的地區。作為報復，馮玉祥調動自己在河南的部隊，且斷了該省的鐵路交通。當時，他對蔣仍是個可怕的潛在威脅，但蔣介石比他棋高一籌，蔣介石通過策動馮玉祥部下叛變，戰勝了馮玉祥。
這不禁使人回憶起馮玉祥當初背叛吳佩孚的行為。馮玉祥完全信任他駐守河南的指揮官韓復矩，但韓已經被蔣收買，並在5月底投奔到蔣介石一方，帶走了3個師長以及馮玉祥的10萬精銳部隊。一個被收買的師長由於善於要價而聞名一時，不久他又脫離了蔣介石的陣營。
與此同時，蔣介石與廣西軍閥又重新開戰，這一次戰場是在廣東。經過相當激烈的戰鬥之後，廣西軍隊於1929年6月底遭到慘敗。
蔣介石從此獲得了對華中、華南的實際控制權，而不再僅僅是名義上的控制權了。
和過去一樣，政府實施稅收的能力是對政府進行衡量的尺度，在擊敗了桂系軍閥之後，國民政府可以在全國22個省徵收稅金。
蔣介石既有些得意洋洋，又對某些事仍感到不滿。他向全國發表了一個宣言，反駁那些有關他實行獨裁的指責，警告那些不服從命令的人，並號召全國團結起來。他還說，一旦局勢穩定下來，他就辭職引退，去實現他那耽誤已久的國外之行。
上海的中外商人均對蔣介石的這番話感到沮喪。但那些瞭解蔣介石過去下野經歷的人則感到放心——或者說對他的講話表示懷疑，因為蔣介石的下野往往是以退為進。
接著，越來越多的皮影戲出籠了。
8月1日，蔣介石召開會議，討論如何實施年初制定的軍隊減員措施。這次，那些主要的將軍都沒有出席會議，而正忙著別的事。這次會議決定，將常備軍裁減到65個師，每個師的編制縮減為1．1萬人。
辭職的習慣似乎能夠傳染，宋子文宣佈，他籌不出錢來進行這次裁員，因而辭去財政部長的職務。
這次不必要的會議開過不久，汪精衛從歐洲回到中國。他立即起草並發出一封譴責蔣介石的電報，這封電報的措詞之強硬、具體，是汪精衛以前類似的電報所沒有的。
電報說蔣介石不僅任人唯親，而且還把中國視為他自己的私人財產。此外，還指責他在「濟南事件」中將中國的主權賣給日本人，並說現在到了「拿起武器，清除國賊」的時候了。
汪精衛的回國使蔣介石很傷腦筋。這個左派領導人與他的追隨者被人們稱為「改組派」，因為他們明確提出要重新改組國民黨，使之重新帶有左派的色彩。
馮玉祥及其朋友閻錫山(此人在馮蔣新發生的衝突中支持馮，與「改組派」舉行了秘密談判。接下來就是典型的中國式的插曲，蔣介石與馮玉祥兩人互通一些詞藻華麗的電報，討論有關出洋之類令人愉快的問題，蔣介石認為出洋是件快樂的事。
閻錫山一度似乎也要與馮玉祥一同出國。蔣介石答應不觸動馮玉祥的軍隊，並由中央向馮玉祥的軍隊發餉，而馮玉樣本人還可得到20萬美元的旅行費用。這些條件應該說是不錯的。
馮玉祥認為自己可以與汪精衛作筆交易，而汪精衛也認為馮玉祥可能會幫助自己達到驅逐蔣介石這一極為有限的目的。
從長遠看，基督將軍馮玉祥與蔣介石一樣，也將變得不再對汪精衛有什麼用處，但汪精衛在這時(1929年10月10日)仍鼓勵馮玉祥向蔣介石再次提出挑戰，這次，汪精衛使用了一種熟為人知的政治技巧(袁世凱也經常使用這種政治技巧)，他召集自己的部下(一共27人)一起譴責蔣介石，並號召馮玉祥與閻錫山時伐蔣介石。
在隨之而來的戰爭中，閻錫山出人意料地保持了中立，而馮玉祥由於10萬精銳部隊倒戈，又連吃敗仗，故在11月底，馮玉祥的部隊被趕出了河南。
這時，東北發生的一次中蘇衝突挽救了馮玉祥的命運，但這也只是暫時的(蘇軍在1929年11月17日進入東北，打垮了數月前佔領中東鐵路的中國部隊)。具有諷刺意味的是，蘇軍是由加倫將軍指揮的，他在幾年前曾擔任過蔣介石的軍事顧問。
接著，一場文字戰又爆發了。北平的一條標語寫道：「閻錫山是出籠的老虎。」
確實，閻錫山在1930年2月10日首先發難，他打電報給蔣介石，要蔣介石放棄武力統一中國的主張，並立即辭職。此後幾周，蔣閻兩人之間的長篇電報往來異乎尋常的頻繁起來，正如蔣介石的文字秘書所說的那樣，「他們好像要打一輩子電報似的」。
2月21日，汪精衛也捲了進來。他發了一封電報，譴責南京政府受賄、腐敗、獨裁。由於厭倦了這場文字遊戲，閻錫山突然在自己控制的省區沒收了南京政府的財產，解除了中央軍的武裝。兩周後，也就是1930年4月初，他就任反蔣部隊總司令的職務。為了便於指揮部隊，馮玉祥擔任了閻錫山的副手。
此後，他們進行了6個月的極其血腥的戰鬥。
如果國民黨的官方統計數字可信的話，那麼，閻錫山的部隊傷亡了15萬人，南京方面的部隊陣亡3萬人，傷6萬人。
馮玉祥被迫辭去了所有的職務。他下台後又生活了18年，並在此期間寫了大量的詩歌和散文。他偶爾也曾試圖重返政治舞台。
1948年9月1日，馮玉祥在一艘蘇聯客輪發生的火災中神秘地死去。
至於閻錫山，蔣介石最後還是允許他回去統治山西，用謝裡登的話來說，就是當「一個聽命於蔣介石的軍閥」。
最後，蔣介石在很大程度上把自己對閻馮聯盟以及對「改組派」的勝利歸功於少帥張學良。
1930年夏，汪精衛在北平舉行了一次國民黨的「擴大全體會議」，閻錫山將軍、馮玉祥將軍都出席了這次會議。心懷不滿的李宗仁也出席了這次大會。閻錫山同意領導一個由反蔣派組成的「國民政府」，以對抗蔣介石的那個「國民政府」。他於9月9日正式就職，這個新政府似乎是有意選民國十九年九月九日上午九時這麼一個良辰吉日宣佈成立的。正如他們對蔣介石所指出的那樣，「九」這個字在中文裡正好與「久」諧音。
少帥張學良似乎對這一象徵意義不感興趣，他在9月18日宣佈支持南京政府，在此之前，「改組派」與南京方面都極力爭取他的支持。張學良的部隊從容地接管了北平，於是「改組派」的所謂「政府」也就壽終正寢了。這次干涉行動使得張學良成了華北無可爭議的主人，而他當時年僅30歲。他控制的地盤現在由東北延伸到河北，蔣介石還任命他為中國陸海空三軍副總司令。但在某種程度上，他身上的軍閥習氣仍很濃厚。
蔣介石現在又一次掌握了政治上的主動權。1930年10月10日，他發佈了一個綱領，其中包括「根除共產主義」。重建財政、實施廉潔而有效的行政、發展經濟及區域自治等五項任務。那些沮喪的北方反對派領導人，如汪精衛、馮玉祥、閻錫山等正式接受了這一綱領，並自動宣佈下野。
9月中旬，蔣介石召開了中央執行委員會全體會議。他在會上用諷刺的語調，不指名地攻擊國民黨內某些人腐敗、墮落、濫用職權、貪贓在法，並說所有這些，使得一些新鮮血液流入了共產黨的陣營。
他還承認他本人也犯了錯誤(未具體說明)，承認自己的一些觀點對國家造成了損害。最後他說，現在召開國民大會修改《組織法》，制訂一部永久憲法的時機已到。
如果蔣介石認為他現在已經取得了無可爭議的地位，那他就錯了。
他自己很快也認識到一點。國民黨右派領導人胡漢民對蔣介石剛剛發表的長篇大論感到很是惱火。蔣介石想——或者是他說他想——擴大政府的群眾基礎，但這卻是胡漢民不喜歡的。胡漢民認為國民黨應該保持對政府的絕對控制，在黨內譴責濫用職權(正如蔣介石所做的那樣)就已經走得夠遠的了。
1931年2月下旬，蔣胡兩人在制憲會議上發生了激烈的衝突。胡漢民威脅說要辭去立法院院長的職務。他辭職的請求在當時遭到拒絕，但幾天後，中央執行委員會接受了他的辭職。
接著，蔣介石立即就將胡漢民軟禁起來。
儘管胡漢民憂慮擔心，但1931年5月5日在南京中央大學召開的「國民大會」並沒有擴大多少群眾基礎。參加大會的447名代表全都是國民黨黨員，或是由國民黨指定的黨外人士。代表中大約有50人是中央執行委員會委員、政府顧問、部長以及身居這種或那種要職的人，其中包括西藏的世俗領袖班禪喇嘛。
少帥張學良也是代表之一，蔣介石又向代表們發表了一篇誇誇其談的演說，最後，代表們宣佈接受孫中山的綱領。大會正式宣佈中國進入「訓政」時期。5月12日，大會通過了「臨時憲法」。6月1日，「臨時憲法」向全國公佈。
儘管這時蔣介石的專權比原先顯得更合法一些，但馬上又有人出來向蔣介石的權威提出挑戰。
各種反叛在廣州及平漢軸心爆發。汪精衛在廣州再次宣佈成立一個獨立的政府。令蔣介石驚愕的是，孫科與陳友仁也參加了這個政府。
7月31日，南昌有三個人埋伏在路邊向蔣介石的汽車射擊，但他們沒能擊中目標。這三個刺客被捕後供認說，他們是廣東政府派來的。
正當中國明顯處於分裂之中的時候，日本於1931年9月18日向東北發起了進攻。
中國共產黨此時也出現了嚴重的內部分歧。
中國共產主義運動湧現出兩個傑出的人物：毛澤東和李立三(周恩來這時已經表現出他的機智和靈活性，正是這種機智和靈活性的結合，使他在政治鬥爭中立於不敗之地，但他與毛澤東和李立三不是同一個類型的領袖人物)。
當時，毛澤東尚未在全黨確立起領導地位，他在俄國人那裡也得不到承認，而李立三則在中國共產黨第六次全國代表大會上當選為總書記。這次大會是在莫斯科舉行的。李立三與毛澤東一樣也是湖南人，比毛澤東小7歲。他們兩人曾在同一所師範學校上學，但雙方的關係卻不太融洽。李立三曾在法國參加過勤工儉學，並於1919年進入里昂大學。後來，他在被里昂大學開除後去了莫斯科。他的這種經歷使他在黨內鬥爭中比毛澤東處於更為有利的地位，因為當時的國際共產主義運動正在由共產國際領導。
中共「六大」閉幕以後，黨內爭論的焦點是：中國革命究竟應該依靠城市工人(正如馬列理論和蘇聯領導人所堅持的那樣)還是依靠農民(毛澤東把他們視為「在中國這個農民佔絕對優勢的農業國裡」真正的革命力量)。
儘管李立三是一個民族主義者，但他毫不懷疑列寧主義或斯大林及其政治局的正確性。他於1928年春離開莫斯科回國。
他一回到中國，就開始準備以城市為基礎的起義。根據馬列主義的經典理論，這種起義將會導致中國共產黨在中國掌權。
1928年下半年和1929年初，由於受到國民黨軍隊的巨大壓力，毛澤東及其追隨者被迫撤離井岡山根據地，轉移到江西福建交界的一塊更大的地盤裡活動。毛澤東及其同事致力於發展他們控制下已經蘇維埃化的地區，但李立三卻指示毛澤東手下的紅軍去奪取武漢及其他大城市。
儘管毛澤東認為李立三是在瞎指揮，但他所處的位置，又使他不好公然違抗李。1930年7月27日，紅軍輕而易舉地佔領了長沙這個實際上沒有設防的城市。在對長沙進行了10天的佔領之後，紅軍又被國民黨軍隊趕了出來。
接著，紅軍又勉強進行了一兩次攻打大城市的嘗試。由於武漢三鎮周圍防守嚴密，紅軍根本靠近不了這個城市。在李立二要攻打的所有大城市裡，當地的共產黨組織都遭到了毀滅性的打擊。
於是，李立三被指控為托洛茨基分子，並被清除出政治局。最後，他被不光彩地帶到莫斯科，在那裡呆了很多年，並逃過了斯木林的大清洗。
在中共取得勝利之後，他回到中國。他承認自己年輕時所犯的錯誤，後來被允許重新從事政治工作，並於1958年當上了勞動部長。但在「文化大革命」期間，他由於受到忠於毛澤東的紅衛兵的刺激而自殺身亡。
1930年革命失敗的一個主要影響是，它證明了毛澤東的正確。
此時，毛澤東不再受來自上面的錯誤決議的擺佈。他開始著手在根據地創建蘇維埃制度。
1931年11月7日，毛澤東的事業迎來了一個高峰。中華蘇維埃共和國在這一天宣佈成立(之所以選定這一天是因為這一天是十月革命的週年紀念日)。11月27日，毛澤東當選為中華蘇維埃共和國主席，朱德當選為軍事委員會主席，周恩來當選為軍事委員會副主席。
蔣介石當然不能容忍這種情況的發生。事實上，在中華蘇維埃共和國宣佈成立之前，他已經發動了三次進攻，試圖把共產黨趕出江西根據地。
第一次進攻是在1930年10月。在擊敗了廣西的軍隊之後，國民黨軍隊於1931年5月再次向江西的共產黨發動進攻。1931年7月，蔣介石親自指揮30萬人又一次向蘇區發動進攻。儘管國民黨軍隊取得了一些局部的勝利，並使紅軍遭到了一定的損失，但蔣介石所稱的這三次「圍剿」都以國民黨的失敗而告終。在紅軍於1934年被迫退出根據地開始進行史詩般的長征之前，蔣介石又發動了兩次「圍剿」。
然而，在1931年秋，蔣介石面臨著令他沮喪的局面，一方面共產黨逃過了打擊，另一方面，他自己的權威仍受到來自國民黨內部的挑戰，而且，日本人正在向中國發起進攻。