廣東的軍政府包括：國民黨、政學系、桂系、滇系、粵系，以及名流派如唐紹儀等。當然大家意見並不一致。前面已敘述過廣東桂系與地方派粵系軍人的鬥爭，駐粵滇軍的內哄等。粵系軍人首領前廣東省長李耀漢被桂系迫下台赴港養病後，仍然保有肇軍總司令的名義，其部將翟汪代理省長，古日光代理肇陽羅鎮守使，其他粵系軍人如廣惠鎮守使李福林、警衛軍統領魏邦平都和李耀漢有密切的聯繫，所以桂系對粵系戒心未除。民國8年6月12日廣東督軍莫榮新進一步下令通緝李耀漢，並沒收其財產，派桂系健將林虎繼任肇陽羅鎮守使，時軍政府下令罷免李耀漢的肇軍總司令一職，14日林虎前赴肇慶佈置一切，這是在廣東的桂系準備以武力剷除李耀漢勢力的具體行動。由於桂系的壓力，廣東代理省長翟汪力辭代理職務，派張錦芳暫行護理省長。
桂繫在廣東對廣東軍人的壓制行為，引起了廣東人民和各方面的極大反感，因此廣東人民舉行了大罷工、罷市、罷課來表示抗議。廣九、廣三鐵路火車停駛，廣州市電燈不明，形勢極為緊張。這時候廣東老百姓只希望桂系力量能夠早日被逐出，他們曾有計劃擬選舉伍廷芳為省長以對抗桂系另派省長。同時在軍事上粵系地方派也想連絡國民黨內的粵系軍人，當時國民黨內的粵系軍人實力分子是陳炯明，陳炯明這時擔任粵軍總司令正駐軍閩南，陳炯明的離粵，也是受到桂系的排擠，他內心當然想回廣東，廣東地方派軍人魏邦平和李福林派人暗和陳炯明通款曲，要求陳率軍秘密開回廣東，魏李等在內接應，以便裡應外合驅逐桂系。
然而桂繫在廣東的力量究竟是最大的，所以魏邦平和李福林這個計劃是不容易實現的，因為桂系一直有軍隊監視粵閩邊區的陳炯明，陳炯明回車的行動立刻會引起阻止行動，很難達到目的。
陳炯明率軍回粵的消息傳出去了，可是實際行動卻很難實現，因此陳炯明只好公開通電否認他要率軍回粵的謠言。否認儘管否認，事實上陳炯明在6月25日即秘密與福建督軍李厚基簽訂了粵閩劃界停戰協定，這就表示陳炯明隨時可能率軍由閩南撤出，不會受到福建方面的追擊。
陳炯明當然是日夜希望回到廣東，他又何嘗忘了廣東督軍的寶座。
南方的軍政府由單一的大元帥制改組為合議形式的總裁製後，實際上的軍政府並不在七總裁控制中，而是由桂系所控制。同時名雖號稱七總裁，可是這時候，孫中山先生已去上海，宣佈辭職。唐紹儀一直在上海擔任南方的議和總代表。唐繼堯在雲南。陸榮廷則留在廣西。所以在廣州只有岑春煊、伍廷芳、林葆懌三人。雖然那些不在廣州的總裁們都派有代表列席政務會議，可是桂系只承認陸榮廷的代表合格。孫、唐、唐的代表桂系都不承認。主席總裁岑春煊則一切聽命於桂系。
8年8月7日孫中山在上海通電辭去總裁一職，並聲明自辭職日起，以後軍政府所發文電如果仍簽署他的名字，概不負責。11日廣州國會開會議決挽留孫中山。這個期間廣州舊國會內政學系議員和照霞樓派議員之間衝突更尖銳化了（照霞樓派是國民黨系議員的代稱，因為當時國民黨籍議員多數下榻照霞樓）。由於對軍政府極為不滿，照霞樓派策動第二次改組軍政府，首先提案查辦廣東財政廳廳長楊永泰，提起楊永泰也是個了不起的人物，他是政學系的軍師和智囊。隨後照霞樓又建議撤回南方議和總代表，改組軍政府為正式政府。對北京政府明令討伐。又因岑春煊私派代表到北京秘密接洽和議，違反《約法》精神和軍政府的合議制，照霞樓派議員提出不信任主席總裁一案，岑春煊於是忿而辭職。這期間政學系很孤單，舊國會各黨派與國民黨聯合起來，於是改組軍政府一案遂得通過。九十月間，軍政府和國民黨佔有優勢的舊國會已經處於對立的地位，使得軍政府的地位搖搖欲墜。
這時候，滇系和桂系還是和好時期，所以唐繼堯、莫榮新、譚延-、劉顯世聯名通電，反對軍政府改組。陸榮廷、林葆懌、譚延-、譚浩明則紛紛通電挽留岑春煊。
9年初，滇桂兩系因為爭奪駐粵滇軍的統率權而翻臉，唐繼堯也打算辭去總裁以拆軍政府的台，於是南方的政治局面為之一變，滇系和國民黨結合起來，桂系便陷於孤立。國民黨計劃以雲南為新根據地，把廣州的非常國會搬去昆明，並在雲南組織新的西南政府。當北江滇軍問題發生時，廣州參眾兩院議長吳景濂、林森都秘密地由廣州潛赴香港，舊國會議員們也一批一批地前往香港集中。
唐繼堯計劃和粵軍總司令陳炯明兩面向廣東進兵，夾攻桂系，粵軍由閩回粵的謠言盛傳一時，陳炯明不但和福建督軍李厚基秘密妥協，並與親桂系的滇軍師長方聲濤部在粵閩邊境發生衝突。
9年3月29日軍政府政務總裁伍廷芳及參眾兩院議長林森、吳景濂以反對岑春煊，悄然離粵赴上海。
伍廷芳的不辭而別，使軍政府有點手足無措，並不是伍廷芳有什麼重要過於孫、唐、唐三總裁，而是伍廷芳有他的價值，因伍兼任軍政府的外交部長和財政部長。8年6月外交團取得北京政府的同意，以關稅餘款的百分之十三撥交南方軍政府作為政費，這筆款項指定由伍廷芳簽字具領，如今伍廷芳悄然去港，外國人只認簽字，誰也無法冒簽伍的簽字，換句話說領這筆錢發生了極大的麻煩，這就是伍廷芳比其他總裁重要的地方。
同時伍廷芳經手領取的關稅餘款共五次，全數390餘萬元，除支付外，還存了180餘萬元。這筆錢在伍出走時也沒有移交，全數攜之而去。
伍這一著，比帶了軍隊走還要凶，因為在當時的軍政府，財政是最重要的一環。岑春煊趕回廣州後立刻寫了一封親筆信，派專人到香港敦請伍回穗，岑在信中說了許多好話，只要求伍回來，無話不可談，無事不可商。然而伍則堅決拒絕，任來人怎麼懇求，就是不肯回去。
軍政府只好發表公報：4月8日軍政府政務會議解除伍的外交、財政兩部長兼職，仍留總裁本職。同時譴責伍廷芳不告而行，既不接受勸告回省供職，又不辦理移交。尤有甚者，伍攜走了關稅餘款180萬元，致使庫空如洗，軍政各費均無從應付。另一公報則宣佈：政務會議議決免除伍廷芳外交、財政部長兼職，特任溫宗堯為外交部長，陳錦濤為財政部長。陳錦濤未到任前，由次長文群代理部務。
伍廷芳這次攜官印出走是第二次了，其第一次是在民國6年7月張勳復辟時，他攜帶外交總長的印信由北京到上海，仍然自居為合法的外交總長；這次也是一樣，4月10日他在香港發出通電，宣佈繼續執行外交、財政兩總長的職權。軍政府除通電否認其職權外，並電請北京政府轉告外交團，以後關稅餘款請直接解交軍政府領收。
4月中旬，軍政府在香港延聘律師控告伍廷芳卷款潛逃，伍也聘律師對抗。香港中外報紙大登特登。這一來大家都知道南方的軍政府不只是四分五裂，根本是一息奄奄了。
這真是一件極可惜的事，對於南方軍政府，因為這時正是北方直皖兩系瀕臨破裂，戰爭一觸即發，如果南方真的護法，團結一致，則北方的變局將使南方漁翁得利。不料南方也是一樣，一方面滇粵軍發生衝突，另方面軍政府則四分五裂。相對的，北方也是自顧不暇，不能抓住這個機會來統一南方，如果這時北方直皖兩系不是到了最後火並的時候，則用兵南方不難底定全局的。
對南方軍政府最嚴重的，是國會議員也成批地不辭而別，甚至還帶走了檔案。4月1日，非常國會眾議院副議長褚輔成去了香港，行前曾召國民黨籍議員到香港集中，兩院秘書廳在國民黨議長指揮下，把兩院檔案卷宗全部打包疊好，分批運赴香港，這一來真是徹底地搬了家。使得廣州的非常國會變成了真空狀態。
4月3日，岑春煊風聞國會已搬空了，乃下令派憲兵前往兩院搜查，果然發現國會重要文件全部已經運走，大為光火，因之派警察嚴密監視兩院。
4月6日，留穗未走的國會議員召開聯席會議，非國民黨議員公推孫光庭為參議院主席，陳鴻鈞為眾議院主席，代行議長職權。同時通電宣佈眾議院議長吳景濂、副議長褚輔成、參議院議長林森等「帶印潛逃，嗣後如假議長名義在外發表文電，一概認為無效。」
國民黨籍議員在香港舉行座談會，會中討論主題是把國會搬到什麼地方？有的主張搬到雲南，一部分則主張搬去上海。主張遷上海的人認為上海是皖系勢力範圍，而皖系對國民黨日益表示好感，自不會干涉國會在上海集會。上海是全國重心，一舉一動容易受人重視，耳目靈活，宣傳的效果也很大。可是反對派則認為國會之所以播遷，就是因為受皖系軍閥的迫害，當年就是皖系軍閥強迫北京政府下令解散的，現在的安福國會也是皖系一手孕育出來的，因此國會再投奔皖系勢力範圍之內，未免太沒有骨氣了。所以這派人主張國會遷昆明。可是反對遷昆明的人理由也很對，他們認為雲南僻處一隅，交通不便，國會遷滇無法號召，在政治上起不了廣泛的影響。同時對唐繼堯的態度也值得考慮，認為唐繼堯在雲南一向是關了門做皇帝，他是不是願意歡迎這麼多國會議員到昆明，也值得研究。
最後，主張遷滬者佔大多數，於是伍廷芳乃把他所攜出的公款發給每位議員赴滬旅費200元，另匯100萬元存上海匯豐銀行為國會遷滬後的制憲經費。在上海方面，孫中山和唐紹儀也擔承另籌100萬元支援國會。
4月8日，吳景濂先動身去上海，籌備國會在上海復會，國會存款50餘萬元由他帶走。4月上旬，國會議員陸續抵達上海的已有200人左右，計劃先召開兩院聯席會。
於是，上海和廣州的兩派議員，就遙遙相罵，互罵對方「通敵違法」。這時在廣州的國會議員仍有300餘人，政學系議員建議：由於人數不足，可以改開非常會議，推舉岑春煊為大元帥以代替日益沒落的軍政府。
在北京看起來，廣州的舊國會分家，是個好消息，總統徐世昌和總理靳雲鵬認為這是南北直接交涉的大好時機，因此主張撇開上海的和會，直接向廣州軍政府談和。根據李純的五款方案，再加入：「善後大借款如果成立，應依照關稅餘款分配西南百分之十三的舊例辦理。」一條作為談判基礎。
可是段祺瑞卻反對徐、靳的主張，段以前一直是極端地反對上海和會的，現在忽然搖身一變，極力主張仍應在上海談和，主張一切問題應由上海和會解決。而皖系健將，上海的「地方首腦」盧永祥也和舊國會的議員們成為好朋友，盧永祥公開建議解決時局的方法是新舊國會的合併，在上海共同制憲。
時局的發展，把一個最倒霉的人救活了，這就是安福系的首領，北方議和總代表王揖唐。他本來大張旗鼓到上海，不料南方代表根本不承認他的地位，任他巧語花言，任他費盡心機，南方代表就是一百個不理，使他不只感到乏味，而且進退維谷。現在廣州的國會議員到了上海，正是走投無路的時候，他仍出面四處連絡，他手頭有錢，錢可通神，於是他的局面也活躍起來。
前面曾提到，王揖唐抵滬後是下榻上海富翁、猶太人哈同的花園中，據說王且把自己女兒拜哈同為義父。這位哈同的義子義女甚多。王揖唐在哈同公園中寄居時，曾遇到一次炸彈案，他疑心有人向他謀刺，更疑心謀刺案與江蘇督軍李純有關。李純聽到此訊，大為光火，乃函王云：「公以小人之腹，度君子之心，僕即有恨於公，何至下效無賴之暗殺行為，況並無所憾於公乎？」李函並不使王釋然，王揖唐總認為李純對他不懷好意。
4月16日伍廷芳、林森到上海後，國民黨召開緊急會議，研究進一步否認軍政府在法律上的效力。由於軍政府的組成是以七總裁為基幹，最高行政機構政務會議須有過半數的總裁出席才有效，現在廣州只留下岑春煊、林葆懌兩人，而林葆懌也已宣佈辭職，所以國民黨認為廣州的政務會議是沒有效的。
廣州方面的解釋則不然，廣州的政務會議說：七總裁中孫中山已經辭職，唐紹儀根本就沒有就職，所以軍政府的總裁只有五位。現在在廣州軍政府這一方面的，還有岑春煊、陸榮廷和林葆懌三位，所以還是多數，因此政務會議是合法的。這當然是強辭奪理。為了要湊數，有一部分人主張索性把軍政府改組為清一色的桂系，補選廣東督軍莫榮新、廣西督軍譚浩明為總裁。這當然是走極端的一法。岑春煊是陸榮廷的長官，陸榮廷又是莫榮新和譚浩明的長官，這四位同為總裁，就變成三代同堂了。所以莫、譚均以「不敢和長官並駕齊驅」為理由推翻了這個建議。
5月4日，廣州國會補選熊克武、溫宗堯、劉顯世為總裁，以補孫中山、唐紹儀、伍廷芳之缺。熊代表四川，劉代表貴州，溫代表北方。四川和貴州是和雲南一致的，廣州故意選出熊和劉，是有意分化滇系。
在上海召開國會的計劃受到了打擊，由於廣州方面委託律師在香港控告伍廷芳捲走公款，因此伍廷芳匯存到上海匯豐銀行的存款被判決假扣留。沒有錢不能辦事，這是最傷腦筋的。5月5日，到滬議員召開談話會，決定國會遷滇，並發表宣言，否認廣州的軍政府和國會。
6月2日，孫中山在私邸召集唐紹儀、伍廷芳、李烈鈞及唐繼堯的代表舉行會議，舊國會議長吳景濂、林森、王正廷、褚輔成都被邀參加，會議決定由孫、唐、唐、伍四總裁發表聯合宣言，全文如下：
「自政務總裁不足法定人數，而廣州無政府。自參眾兩院同時他徙，而廣州無國會。雖其殘餘之眾，濫用名義，呼嘯儔侶，然豈能掩盡天下耳目？即使極其詐術與暴力所至，亦終不出於兩廣。而兩廣人民之心理，初不因此而淹沒，況雲南貴州四川，固隨靖國聯軍總司令為進止，閩南湘南湘西鄂西陝西各處護法區域，亦守義而勿渝。以理以勢，皆明白若此，固知護法團體，決不因一二人之構亂而渙散也。慨自政務會議成立以來，徒因地點在兩廣，遂為一二人所把持；論兵則惟知擁兵自固，論和則惟知攘利分肥，以秘密濟其私，以專橫逞其欲，護法宗旨，久已為所犧牲，猶且假護法之名，行害民之實，煙苗遍地，賭館滿街，吮人民之膏血，以保驕兵悍將之願，軍行所至，淫掠焚殺，鄉里為墟，非惟國法所不容，直人類所不齒。文等辱與同列，委曲周旋，冀得一當，而終於忍無可忍，夫豈得已？惟既受國民付託之重，自當同心戮力，掃除危難，貫徹主張……」
同時，唐紹儀備了公函送達北方總代表王揖唐，要求恢復和談。
6月6日，廣州軍政府政務會議議決：撤換南方議和總代表唐紹儀，改派溫宗堯繼任；通告北京政府，南方政務總裁孫中山、唐紹儀、伍廷芳三人的總裁資格業已取消。並且發出急電云：
「王揖唐為北方議和總代表，此間始終並未承認，而唐紹儀復經撤銷總代表，所有唐、王私議之和平條件，不能發生效力。……上海租界內所稱之軍政府，除唐繼堯未辭職外，唐紹儀始終未就職，孫文業於八月間辭職，伍廷芳於本年三月間卷款棄職，經於五月四日由國會非常會議宣告免職，另行改選。孫、唐、伍三人所有宣言及一切行動均屬無效。」
廣州的一舉一動，在北京的徐世昌是贊成的，可是段祺瑞和安福系都予以冷淡。段系對上海的發展寄有極大的興趣，唐紹儀給了王揖唐恢復和談通知後，唐、王就互相拜訪，談得非常投機，昨天還是路人，今天卻變成了老友。這種友好性的接觸，顯示出前途的樂觀，雙方似乎均本著互相忍讓的精神，提出對方可以接受的條件，期使和談獲有具體結果。段祺瑞還直接回答了孫、唐、唐、伍四總裁一封電報，贊成恢復上海和談。
徐世昌則對上海的發展表示冷淡，6月7日他叫國務院致電王揖唐，提出了四點質問：（一）唐紹儀的和談總代表資格問題，唐原由廣州軍政府所委派，現在唐否認廣州軍政府的存在，則唐本身地位來自何處？（二）孫、唐、伍諸總裁或久已辭職，或現已離任，現在聚集上海私邸開會，上海又不屬於西南範圍。則諸公所議各項是否能發生效力，而西南各方對於此項集議，是否一致贊成？（三）孫、唐、伍三公既否認兩粵現行機構，則上海和議一旦有成，兩粵能否一致奉行而無反抗？（四）唐紹儀總代表上年所提八條，中央迭次抗爭，和議因之中梗……。今少川（唐紹儀號）宣言仍以八條為據，遽與開議，是否有前後矛盾之嫌？以上四點統希核覆，再酌應付。從這通電報中看出徐世昌是不願以上海三總裁及唐紹儀的議和代表為對象。
6月7日下午安福系推出議員20餘人見徐，請徐明告對上海和會的態度，徐竟不接予接見，議員們堅持要見，僵持到夜晚10時，總統府秘書長吳笈孫才跑出來作揖打拱說：「元首有病，請諸位明天來。」6月8日安福系要員在太平湖開會討論上海和會和應付徐世昌問題，曾毓雋認為徐世昌只以岑春煊為對象，不支持上海和會是破壞和平，主張國會提出彈劾破壞和平的總統。經討論後，改為推舉兩院議員見徐質問不重視上海和會的理由，同時兩院通電贊成上海和會繼續進行，以便早日達成協定。於是李盛鐸、田應璜、劉恩格前往訪徐，徐向他們吞吞吐吐地表示：（一）政府對王揖唐並無不信任之意。（二）南方軍政府發生內亂，北京政府當然可以置身局外。（三）南方軍政府改派溫宗堯為南方總代表，北京政府尚未承認。