孫中山決定聯俄聯共，派蔣介石去蘇聯考察。在莫斯科時，蔣介石讀到一份共產國際關於國民黨的文件，立即說到：「我太絕望了！看看它都說了些什麼？這麼忽視一個友好的黨，它怎麼能成為世界革命的中心呢？」
蔣介石寫道：「……我比以前任何時候都確信蘇聯政治體制是獨裁和恐怖主義的統治工具，它與以三民主義為基礎的國民黨的政治體制完全不同……」。
許崇智戰敗後，率其餘部逃到福建。1922年10月13日，他佔領了福州，孫中山立即給予嘉獎，並任命他為總司令，蔣介石為參謀長。
由於其他部隊的配合，這支忠誠的軍隊於11月15日進抵廣州，陳炯明不得不躲藏起來。幾個星期後，形勢變得明朗化了。1923年1月21日，孫中山返回廣州，又恢復了他的軍政府。
反覆無常的蔣介石總是要有命令或召喚才回到孫的身邊。
在重新收復廣東前，他又藉故跑到上海。於是，孫中山又給他寫了封信，此信是所有信中最嚴厲的一封，對蔣進行了批評和勸告。
蔣介石回到廣州，孫中山剛恢復軍政府，蔣介石又請假去上海醫治眼病。那時，他的確患了眼疾，儘管不清楚到底是什麼病。
上海這個港口城市，自有它的迷人之處，一直吸引著蔣介石，蔣介石參加革命的引導人陳其美，曾帶他去過黑勢力「青幫」的地盤，那條街到處都是妓院。
在那裡，蔣介石遇到一個妓女陳潔如，被她迷住了。蔣介石不久便與陳潔如結了婚，並居住在一起，直到後來蔣與宋美齡結婚，蔣與陳的這段浪漫婚姻才告結束。
在北伐期間，陳潔如在蔣的生活中的某些方面扮演了日後宋美齡在蔣的生涯中扮演的角色。陳潔如容貌嬌艷，且知書達禮，蔣的朋友和部下都十分尊重她。
「青幫」成了蔣的保護人。
1927年秋，臭名昭著的「青幫」頭子杜月笙資助陳潔如去美國。陳潔如在美安頓下來後，進入紐約哥倫比亞大學學習，獲得了博士學位。之後，她前往西海岸，在舊金山附近買了一幢房子居住下來。
1967年她寫完她的自傳，交給紐約的一個出版商出版，但是台灣當局不惜巨款買下了該書的版權，使其出版計劃夭折。
陳潔如得到這筆錢後，十分富有，她移居香港，直到1971年去世。她的骨灰運回了加利福尼亞，並埋葬在那裡。
那時，蔣除了眼疾外，其他一些事情也將他留在了上海，直到4月20日，他才返回廣州。然後，他立即投入了與那裡的叛軍的戰鬥，這段時期，局勢一片混亂，進攻與反擊、忠誠與背叛、好運與惡運、敵對與競爭，錯綜複雜，變幻莫測。
但有一件事是確定無疑的，那就是孫中山的權力越來越不穩定了。
正是在這段時間裡，孫中山決定聯合新的盟友——莫斯科新政權領導人，以改變他的運氣。
1918年7月4日，蘇維埃政權剛成立不久，蘇俄外交人民委員契切林宣佈，蘇俄單方面廢除歷代沙皇與中國及以中國為代價而與日本和其他國家簽訂的協議和不平等條約。除了1919年7月25日的宣告外，蘇俄又於1920年9月27日發表第二次對華宣言，並正式通知了北京政府。
這一系列友好的聲明受到廣大中國人民的歡迎。最初，蘇俄並不重視孫中山和他的國民黨，只把它看作南方的一個小集團。蘇俄頻頻向北洋政府提出各種建議，但是在西方列強和日本控制下的各屆北洋政府均加以拒絕，於是，蘇聯人決定發展與國民黨的關係。與此同時，孫中山意識到他的權力基礎很不牢固，指望西方列強是不可能的，於是決定響應蘇聯人的建議。
蘇聯的利益並不一定都要由蘇聯人來代表。1919年列寧建立共產國際，以把革命推向世界各個角落。
第一個派往中國的共產國際代表是斯內弗利特，化名為馬林，他以旅遊者的身份於1921年春來到中國，並前往廣西會見了孫中山，這次見面，孫中山給馬林留下了深刻的印象，使馬林認識到國民黨是中國民族主義的主要代表。
1922年1月，廣州和香港爆發了海員大罷工，馬林發現國民黨很好地組織了這次新型的中國工人運動。
回到莫斯科後，馬林建議中國共產黨應加入國民黨，以期從內部控制它。這一建議與十月革命後派往中國的另一個蘇聯代表的報告內容完全相反，該報告贊成與北方軍閥發展關係。
1922年8月,馬林與孫中山在上海再次舉行會談。馬林建議孫中山吸收共產黨的群眾宣傳和群眾組織等經驗；而蔣介石則總是主張採取軍事行動。看來，孫中山採納了馬林的全部建議。
那麼，中國共產黨的情況如何呢？中國共產黨的創始人都不懂俄語，也沒有人在蘇聯接受過馬克思列寧主義的教育，列寧領導的共產國際在中國共產黨的創建活動中起了重要作用。
事實上，正是馬林和共產國際的另一代表魏金斯基，把各地分散的馬克思主義小組召集到一起，於1921年7月1日舉行了中國共產黨第一次全國代表大會，從而標誌著共產黨的成立。
馬林和魏金斯基都出席了會議。12個中國共產黨代表參加了這次會議，其中有毛澤東。
但是，中國共產主義思想的真正締造者陳獨秀和李大釗未出席，陳獨秀當選為第一位總書記，但不久他就脫離了中共。
後來李大釗被北京軍閥殺害。12個代表中至少有6個脫離了共產黨，正是由於這個原因導致了馬林仕途受阻。
最初，中共弱小併力量單薄，基本為共產國際所控制。
1922年8月，馬林在與孫中山第二次會晤後，正式建議中共黨員應加入國民黨。儘管中共黨內存在強烈的反對意見，但這一建議還是執行了。孫中山表示歡迎共產黨員以個人身份參加國民黨。
「媒」已作成，就差舉行婚禮正式結婚了。莫斯科派了一位有經驗的外交官——原駐柏林大使越飛來完成這一使命。
1922年8月，越飛來到中國，在與北京政府建立關係的努力又一次受挫後，他前往上海與孫中山進行會談。
1923年1月26日，雙方發表了《孫越公報》，雙方表示中國目前還不具備實現共產主義或蘇聯模式的社會制度的條件；當前的首要問題是實現國家的統一和獨立。公報再一次宣佈蘇聯放棄在中國的任何特權，但仍保留中東鐵路——這條鐵路是俄國人1917年得到的。
孫中山和越飛之間達成一個默契，那就是蘇聯共產黨將按照共產主義路線改組國民黨。1923年10月6日，蘇聯政治局委派能幹的鮑羅廷來進行這項工作。正像這一時期的許多俄國革命者一樣，鮑羅廷用了假身份，他是個猶太人，出生於立陶宛。
1924年1月，國民黨第一次全國代表大會在廣州召開，完成了改組任務，從此，國民黨決定每兩年召開一次全國代表大會，半年開一次執行委員會會議；另外，設立一個小規模的常務委員會，由五至九人組成，這相當於標準的共產黨政治局。
這一系列措施使共產黨獲益匪淺，儘管它的人數仍然很少，但它開始在人數眾多的國民黨內部發揮作用了。
上述這一切，正是蔣在下一個階段的活動的歷史背景。
孫中山已決定聯俄聯共，他計劃派他的部下去蘇聯考察並向他匯報，他選中了蔣介石。
1923年8月5日，蔣在上海與馬林商談了出訪安排。9月2日，蔣由三個助手陪同，抵達莫斯科。他在蘇聯的大部分時間都呆在首都莫斯科。11月29日他們離開了蘇聯，並於12月15日回到上海。
蔣介石一行是前去考察蘇聯革命成功後的黨的體制以及政治和軍事組織狀況。
有關蔣的傳記裡說，蔣對他在蘇聯親眼目睹的蘇聯革命非常失望和不滿。在他自己的文章裡，他解釋了其原因。在共產國際的執行委員會裡，蔣介石表示了對革命的信心，他認為以孫中山的三民主義為思想基礎的中國革命運動，將在兩三年內取得成功。他宣稱共產國際並不瞭解中國革命的性質，建議共產國際多派些人去考察。
在莫斯科時，他讀到一份共產國際關於國民黨的文件，立即說到：「我大絕望了！看看它都說了些什麼？這麼忽視一個友好的黨，它怎麼能成為世界革命的中心呢？」
蔣介石一行參觀了彼得格勒的海軍研究所和其他一些軍事學校，並在克倫斯塔參觀了海軍基地。沒有人談論兩年前在這兒發生的一次叛變。但從當地人和海軍人員的態度來看，這一事件已留下了深深的痕跡。
他們會晤了一些部長及一些地方官員並參加了莫斯科蘇維埃全體代表大會。蔣寫道：
「我很快就察覺出蘇聯社會各部門及蘇聯共產黨內存在的公開的和秘密的激烈鬥爭。我比以往任何時候都確信蘇聯政治體制是獨裁和恐怖主義的統治工具，它與以三民主義為基礎的國民黨的政治體制完全不同，這是我出訪蘇聯所得出的結論。如果我們一直呆在國內，我們恐怕永遠不會發現這些。」
國民黨的一些較為婉轉的有關蘇聯的參考資料也未改變蔣介石對蘇聯體制的看法。
還有一個原因導致蔣失望和不滿。蔣試圖與蘇聯解決沙俄侵佔的中國領土，尤其是外蒙古問題。在頭一年元月份的《孫越公報》中，蘇聯代表明確表示，蘇聯「無意繼續奉行在外蒙古問題上的帝國主義政策，也無意使它脫離中國」。
但是，只要蔣介石一提起這個問題，蘇聯人或者避而不答，或者態度強硬，毫不妥協。事實上，正是在蘇俄當局的策劃下，於1919年7月6日成立了蒙古人民革命政府；而且也沒有任何跡象表明蘇聯會放棄對它的控制。
蔣介石希望列寧能會見他，但這位布爾什維克的領導人此時已處於昏迷狀態，蔣介石與契切林、加米涅夫、季諾維也夫、拉狄克和托洛茨基等人見了面，尤其是與托洛茨基進行了幾次長談。
使蔣介石吃驚的是，許多蘇聯領導人都十分敬重孫中山，而且最真誠與國民黨合作的多是猶太人。
托洛茨基引用列寧的話說，對於殖民地和半殖民地人民的反帝鬥爭，蘇聯將給予全力的道義上和物質上的支持，他請蔣轉告孫中山：「蘇聯將支持他的民族革命，將給予積極的軍事和經濟援助，但是蘇聯不會直接出兵。」
列寧的病情日益惡化，蔣注意到以托洛茨基為首的國際派和以斯大林為首的國內派為爭奪權力的鬥爭已日趨顯著(蔣介石當時似乎沒見過斯大林)。
使蔣介石擔憂的是，中蘇合作是建立在一個脆弱的基礎上的，蔣認為，一旦蘇聯政權得以鞏固，它就會恢復沙皇時代的帝國野心。
蔣介石在返回上海的途中，把這些都寫了出來。1924年3月14日，他從奉化給一個國民黨高級官員發了一封信，信中寫道：蘇聯共產黨不值得信賴，並且他在蘇聯遇到的黨員，對於孫先生惟有詆毀與懷疑而已。他繼續寫到：
俄黨對中國之唯一方針，乃在造成中國共產黨為其正統，決不信吾黨可與之始終合作，至其對中國之政策，在滿、蒙、回、藏諸部，皆為其蘇維埃之一，而對中國本部，未始無染指之意。
蔣介石的這封信在國民黨常務委員中進行了傳閱。但是，他的信和報告在國共合作的熱烈氣氛下，絲毫沒有產生作用。
當蔣介石不在廣州時，鮑羅廷正好到來，在廖仲愷的建議下，孫中山任命鮑羅廷為國民黨的政治顧問。
孫中山看來完全被鮑羅廷的個人風度和性格迷住了。
鮑羅廷是個典型的世界主義者和革命冒險家。他幼年時被送往美國，在那兒接受教育。後來他在芝加哥開辦了一所商業學校，並閱讀了大量馬克思主義著作，鮑羅廷是他的化名，共產國際先後派他去過墨西哥、蘇格蘭(在這裡被驅逐過)和土耳其。
鮑羅廷來到廣州時，還帶了一封蘇聯的信函，宣佈放棄沙皇時期侵佔的中國領土。
鮑羅廷很快贏得國民黨領導人的信任，這不僅是由於他的個人風度、他的真誠，而且是由於他的個人信念及對三民主義的完全支持。
蔣介石12月中旬才返回廣州。他回到中國後，先回了溪口。孫中山再次對蔣的目無紀律感到不滿。1923年12月24日他發了封電報給蔣，說他此行蘇聯責任重大，應速回廣東報告旅蘇情況，詳細制定中蘇合作計劃。他還寫到，我們尊重你關於政治形勢的意見和你的建議，我們想與你商討此事。
蔣介石不甚情願地中斷了他的個人安排，回到了廣州。他向孫中山解釋說，在他去蘇聯之前，他十分相信俄共是真誠的，是願意幫助國民黨的。但是，蘇聯之行使他失望了。從短期利益來看，「聯俄容共」可能會形成反對西方殖民主義者的力量；但是從長遠來看：蘇聯的世界革命計劃比老的殖民者對中國的獨立具有更大的威脅。
同以往一樣，孫中山又一次拒絕了蔣介石的建議。他認為，目前的革命形勢迫切需要國共合作，對待共產黨的唯一辦法是，將他們置於國民黨的領導和控制之下。這樣，就能進行北伐，而一旦北伐勝利，就能實現三民主義。
蔣介石徒勞的努力使國民黨領導人開始有所戒心，回答他的是一連串的反問：難道蘇聯沒有承認國民黨是唯一能領導民族革命的黨嗎？難道不是蘇聯敦促中共黨員加入國民黨並接受其領導嗎？越飛不是承認共產主義不適合於中國嗎？
根據國民黨的官方檔案，孫中山的最初政策是「聯俄容共」，但是中共按照自己的做法，將其理解為「聯俄聯共」。
蔣回到廣州後不幾天，國民黨第一次全國代表大會在廣州召開。憂心忡忡的蔣介石參加了大會，他發現國民黨黨員已經開始受新加入的共產黨員的影響。
這些中共黨員很好地利用了他們與蘇聯的特殊關係，第一個加入國民黨的中共黨員李大釗在大會上發言說：
「我們作為個人而不是組織加入國民黨。也許有人說我們是雙重黨籍，但是不能說國民黨是黨中有黨……我們加入國民黨並同時保留中共黨員的資格，這是公開的值得讚揚的行為，而不是偷偷摸摸的行動。」
蔣回憶說，李大釗的講話起到了預期的效果。國民黨的所有疑慮都消失了，國民黨沒有採取任何預防措施。然而，中共黨員通過秘密組織，迅速擴大了它的影響範圍。
大會正式通過了鮑羅廷起草的章程，李大釗和毛澤東等八名共產黨員被選進國民黨中央執行委員會和中央監察委員會。1月24日，大會即將閉幕時，蔣被任命為陸軍軍官學校籌備委員會主席，籌劃在距廣州14英里處的黃埔島開辦學校，並被提名為軍校校長。蔣對與共產黨合作越來越表示懷疑，再次提出辭職，並將籌備工作留給廖仲愷，自己回溪口老家去了。孫中山又一次發信和拍電報催他，提醒他要服從革命的需要。直到4月份，蔣才聽從催勸，返回廣州。
孫中山認為軍校是國家統一不可缺少的工具。他迫切需要一支訓練優良的隊伍去掃除軍閥勢力。
蘇聯答應提供武器和訓練人員來支持軍校。在莫斯科時，蔣介石就與蘇聯紅軍高級將領討論過有關的細節問題，在他返回符拉迪沃斯托克的途中，他還會見了西伯利亞軍區司令加倫將軍。
蔣介石最後同意出任黃埔軍校校長，他提出由加倫將軍作他的參謀長。蘇聯方面同意了這個要求，這樣加倫來到了中國。
廖仲愷被任命為黃埔軍校國民黨黨代表，他的副手是留法的年輕有為的中共黨員周恩來。
蔣對加倫十分敬重。「在我看來」，蔣寫道：「他是個傑出的蘇聯將軍，也是個很有理智的人和很好的朋友。最不同尋常的是他身上絲毫沒有布爾什維克的跡象。」
在後來的日子裡，蔣又多次要求斯大林再派加倫來華，這些請求多數未被答覆。1939年，斯大林告訴國民黨駐蘇大使，加倫由於迷戀一個日本女間諜而不忠於國家，已被處決。
1924年6月16日，孫中山宣佈黃埔軍校正式創建，這表明中蘇之間、國共之間的軍事政治合作已經開始。