張勳復辟，黎元洪逃到日本公使館避難時，海軍總長（國民黨員）程璧光在上海，他曾派軍艦兩艘到秦皇島迎黎南下，同時以海軍總長名義發佈海軍討伐叛逆的電報。這時馮國璋還在南京，對於程璧光的行動頗為不滿。而北洋軍閥認為李經羲在6年6月24日組閣時已發表薩鎮冰為海軍總長，調程璧光為海軍總司令，程不應以海軍總長名義自由行動。可是國民黨認為從6月14日張勳到北京起，黎元洪就失去自由，李經羲內閣根本是張勳的傀儡工具，6月14日以後的總統命令應當視為無效，所以程仍以海軍總長名義在上海宣稱奉大總統命討逆。
孫中山在上海曾有一通忠告段祺瑞的嚴正電文，這是7月19日發出的，電云：
「民國不幸，偽清僭據，足下以為馬廠偏師，恢復共和，重奠京邑，此蓋強虜自亡之會，而亦足下迷復之機。伏念共和、帝制迭相乘除，已歷三次。所以起滅無常者，實由是非不定，刑賞無章耳。夫洪憲佐命之徒，宣統復辟之輔，其為帝制罪犯一也。去年洪憲禍首，隱忍未誅；佐命者既得從寬，則復辟者當然無忌。徐州、彰德二次會議，（張勳發起徐州會議會，與會各省曾在彰德會議一次。）正在足下初任首揆之時，拱手處中，不能鋤治，而復獎以勳權，啟其驕悍，是以伏戎遍國以有今日。而民間清議，亦謂復辟之禍叛督實為先驅。要求宣戰之不已，以至毆擊議員；毆擊議員之不已，以至解散國會；解散國會之不已，以至復建偽清。本為一人保固權位，以召滔天之災；足下獎成此患，豈得不為追咎。文於數月前，曾獻忠言，不蒙採納。至黃陂不得已而下免職令，猶不悛改，悻悻以引起禍亂，不負責任為詞。今日因敗為勝，功過相償，天日鑒臨，人心共諒。乃總理一職，既無同意，亦無副署，實為非法任命；果出黃陂手諭與否，亦未可知。足下當以義師首領自居，豈得以國務總理為號，以免職興戒，而以復職自貴，狐埋狐-，皆在一人，豈所謂為國忘身者乎。張勳以愎戾之資，悍然復辟，所統辮兵，素無訓練，其勢本易與耳；張紹曾等倡謀討逆，近畿將領，不少靖獻之人；器械完利，士馬精強，撲滅殷頑，易如反掌；徐州余寇，復何足雲；而足下必任段芝貴為東路總司令，倪嗣沖為三省總司令，段本洪憲元兇，倪則叛督首領，一蒙驅使，得冒天功以為己力，沮忠正倡義之氣，開叛人狡詐之端，豈自比明之熊文燦耶。乃又抑止諸軍，不容興師致討，欲以易成之績，交與倡亂之人，偏私狹隘，毋乃過甚。丙辰近鑒，貽禍相同，此又足下所宜自省者也。文願足下，上畏民巖，下思補過，任良將以伸正氣，討群叛以塞亂源，誅洪憲佐命以示至公，戮偽主溥儀以懲負約，保國贖愆，敦善於此。若以小腆易敗，據為大功，因勢乘便，援引帝黨，擅據鼎鐘，分佈爪牙，則西晉八王之相驅除，唐末朱、李之相征討，載在史冊，曲直無分。正恐功業易隳，禍敗踵至，凡我國民，亦不能為輔助矣。以足下天性強毅，本非狐媚之人，故願盡忠以告，是非利害，在足下自審之耳。」
復辟時，廣東省長朱慶瀾曾派人到上海和孫中山聯繫，同意以廣州為護法的根據地。7月10日孫中山率領應瑞、應琛兩艦到汕頭，13日派章炳麟先到廣州接洽。廣東內部雖然複雜，可是對孫中山仍然歡迎。因此孫便於7月17日到廣州，廣東督軍陳炳-和省長朱慶瀾都到江岸歡迎。且在黃埔公園舉行了歡迎大會。
孫中山在歡迎大會發表演說，揭破了復辟是北洋軍閥所佈置的政治圈套，他說：「段祺瑞引用段芝貴、倪嗣沖這些復辟派做討逆軍統帥，以逆討逆，忠奸不分。今天的中國，不是復辟與共和之爭，而是真共和與假共和之爭。今天真復辟者少，假共和者多。」這真是一針見血的話。
7月22日程璧光和海軍第一艦隊司令林葆懌自吳淞率領所屬艦支開赴廣東，唐紹儀、汪兆銘、伍廷芳等同行。就是這一天，他們由海軍艦隊發出宣告，通電自主，他們提出傭護《約法》，恢復國會，懲辦禍首三項主張。並稱自《約法》失效，國會解散之日起，一切命令無所根據，應視為無效，亦不承認發佈命令之北京政府。
孫中山與駐滬海軍是事先約好的，海軍第一艦隊南下護法，這使段祺瑞在北京大為震動。段內閣為了緊急應變，立即調升第二艦隊司令饒懷文為海軍總司令，並以林頌慶為第一艦隊司令，杜錫-為第二艦隊司令。7月25日段內閣並發表廣東省長朱慶瀾和廣西省長劉承恩對調。朱慶瀾以廣東自主為理由，拒絕接受這個命令。
廣東在當時的西南，是政治和軍事中心，不過廣東內部的情勢很不穩，雖然不像四川那麼表面化，可是也是極複雜。段祺瑞對廣東是採取一方面自外面施加壓力，一方面在內部製造分化，利用地方派軍人的排外主義，企圖製造廣東內部主客兩軍互相混亂，使北洋軍能乘虛而入。當時北洋派勢力已佔領了福建和江西，這兩省和廣東毗連，段打算拿這兩省當作進攻廣東的跳板，同時從海道運兵在廣東沿海地區登陸。段這個計劃受阻於江西，因為江西督軍陳光遠是直系，直、皖兩系對於向南方用兵意見不一致，所以後來段乃派兵取湖南另開一條取廣東的路線。
廣東內部一直不穩，幾種勢力明爭暗鬥。桂系軍人陳炳-是廣東督軍，自居於統治者地位，但是省長朱慶瀾也有兵權，他統率警衛軍及地方派軍人。他們之間是對立的，督軍和省長對立，桂系軍人和廣東地方派軍人對立。另外，在北江還有滇軍兩師兵力駐防，由李烈鈞率領，是國民黨的基本武力。廣東地方派軍人有時和國民黨聯合以對抗桂系，有時又在南方與北方之間、國民黨和桂系之間搖擺不定。
兩廣是在督軍團叛變和國會被解散時宣稱「自主」的。北京復辟時，桂系便高唱出兵，不過實際上卻沒有行動，主要是想利用時機以統一廣東的軍權。駐粵滇軍以及朱慶瀾所屬的警備軍也想北伐，但是桂系不肯給予軍事裝備。李烈鈞事後曾指責陸榮廷，說他故意躲在家鄉武鳴裝病，坐失北伐良機，讓段祺瑞重登政壇玩弄一切。
廣東的桂系既然是統治者，對於滇軍和地方武力便吝不予軍費，逼得駐防各縣的地方軍紛紛就地籌餉。朱慶瀾以省長名義發行救國公債，滇軍則提印花稅甚至扣留鴻安公司的鴉片以充軍費。桂系便以此為理由打擊滇軍和朱慶瀾。
桂系所搞的自主，完全是一種投機手段，他們認為自主是半獨立，在半獨立情形下，他們採取聯馮倒段的策略。因為是半獨立，對於北京政府的命令便根據自己的利益來決定應付辦法。陳炳-在孫中山到廣州後不久即趕到梧州請示陸榮廷應該如何應付，陸認為抗拒孫會惹大反感，首先應該排斥朱慶瀾而把地方武力奪過來。陳返穗後即照陸意思做，策動肇陽羅鎮守使李耀漢驅逐朱，以省長職位餌李。朱在李耀漢的壓迫下向省議會辭職，並要求准予將省長親軍20營交給陳炯明接管，這批親軍朱是從龍濟光手上接收過來的，當時有兵額40營，接收後編為省長直轄的地方保安部隊，其後被陳炳-分出20營，餘下的編為「省長親軍」，由陳炯明為司令。朱去職時打算把這批親軍改編為海軍陸戰隊，仍以陳炯明為司令，名義上則屬於程璧光的海軍節制以免落入桂繫手中。
8月26日朱慶瀾把省長大印交給省議會，根本不理睬陳炳-就去了香港。陳大為憤恨，當天在佈告中說他是「私人出走，有心擾亂治安。」
8月28日廣東省議會選舉胡漢民繼任省長，這種選舉並不合法，可是廣東既已經自主也只有從權了。省議會選胡的理由是因為胡做過第一任廣東都督。可是桂系當然是持反對態度，因此陳炳-派人到省議會搶了省長大印，且以督軍命令接收了省長親軍。另一方面陳炳-早已向北京政府保舉李耀漢為廣東省長。段內閣對於這個自主的省區竟承認北京政府的人事任命大權，實在喜出望外，他巴不得桂系和國民黨矛盾擴大，所以北京政府於8月31日正式命令李耀漢為廣東省長兼肇陽羅鎮守使。在國民黨來說，當時最重要的工作是召集非常國會，因此自不願在省長問題上與桂系鬧翻，寧願拿省長來交換桂系對組府問題不加干涉。於是胡漢民便向省議會辭謝省長，舉李耀漢為代，省議會乃舉李為省長。
這期間，國會議員在孫中山邀請下已紛紛南下，8月中旬，國會議員到廣東的已有130餘人，多數為國會中的政學會、益友社、民友社三系議員。8月18日孫中山在黃埔公園歡宴他們，席間大家決定貫徹護法主張，組織護法政府。19日國會議員們發出通電云：
「民國不幸，禍患頻仍。倪逆稱兵。國會被毀。張賊復辟，國體動搖。造亂之徒乘機竊政，托名討賊，推翻《約法》，擅立政府，易置總統。執法以繩，厥罪為均，又覆疊逞狡謀，圍湘窺蜀，輸兵南下，其勢——，憑借北洋，壓制全國，充類至盡之義，吾民寧有噍類之存？所幸諸公獨持正義，興師討賊，信誓在人，救我黔黎，定茲國難，公等之責，吾民之望也！同人等或受國民之托，職務未終；今被國賊之驅，責任難棄；用依《約法》自集於粵。人數未滿法定，本難遽行開會。惟念時局之危，間不容髮，西南散處，意志輒殊，對外則馮、段宣戰，我將何以處德、奧？對內則黃陂孤陷，我將何以設政府？凡茲重要，亟待討論。爰繹主權在民之則，師法人國變之例，特決定本月廿五日於廣州開非常會議，以謀統一，以圖應變。區區之意，如斯而已。」
《國會非常會議組織大綱》於6年8月29日在廣州議決公佈：
第一條：國會非常會議，以現任國務議員組織之。
第二條：國會非常會議之議事，以參眾兩院議員會合行之。
第三條：國會非常會議至內亂戡定，《臨時約法》之效力完全恢復時為止。
第四條：國會非常會議非十四省以上之議員列席，不得開議。蒙古、西藏、青海、華僑各選區以省論。
第五條：國會非常會議之議事，以列席過半數議決之。
第六條：國會非常會議之正、副議長，就現任兩院正、副議長內推定之，正、副議長均有事故時，得選舉臨時議長。
第七條：國會非常會議得設各委員會。
第八條：軍政府組織大綱，由國會非常會議制定，並宣佈之。
第九條：國會非常會議於軍政府有交議事件，或由六省以上之議員聯合提議時，得隨時開會議決。人民請願事件經委員會審查後，得提出議決之。
第十條：本大綱有議員四十人以上之連署，得提議修改，以列席議員三分之二以上議決之。
第十一條：本大綱自宣佈之日施行。
8月31日非常國會通過《中華民國軍政府組織大綱》，並宣佈如下：
第一條：中華民國為戡定叛亂，恢復《臨時約法》特組織中華民國軍政府。
第二條：軍政府設大元帥一人，元帥三人，由國會非常會議分次選舉之，以得票過投票總數之半者為當選。
第三條：《臨時約法》之效力未完全恢復以前，中華民國之行政權。由大元帥行之。
第四條：大元帥對外代表中華民國。
第五條：大元帥有事故不能視事時，由首次選出之元帥代行其職權。
第六條：元帥協助大元帥籌商政務。
元帥得兼任其他職務。
第七條：軍政府設立各部如左：
一、外交部。二、內政部。三、財政部。四、陸軍部。五、海軍部。六、交通部。
第八條：各部設總長一人，由國會非常會議分別選出咨請大元帥特任之。
前項選舉，以得票過投票總數之半者為當選，但遇總長缺位未經選舉以前，大元帥得為署理之任命。
第九條：各部總長輔助大元帥執行職務。
第十條：元帥府及各部之組織，以條例定之。
第十一條：軍政府設都督若幹員，以各省督軍贊助軍政府者任之。
凡有舉全省兵力宣佈與非法政府斷絕聯繫者，依前項之規定。
第十二條：本大綱至《臨時約法》之效力完全恢復，國會及大總統之職權完全行使時廢止。
第十三條：本大綱自宣佈之日施行。
9月1日非常國會根據軍政府大綱選舉大元帥，孫中山在91票中以84票當選，次日補選元帥二人，陸榮廷以76票，唐繼堯以93票當選。
9月10日軍政府宣告成立，孫中山就大元帥職。非常國會並選出唐紹儀為財政總長、伍廷芳為外交總長、孫洪伊為內務總長、張開儒為陸軍總長、胡漢民為交通總長。孫中山並以大元帥名義任命李烈鈞為參謀總長、林葆懌為海軍總司令、方聲濤為衛戍總司令、李福林為親軍總司令、章炳麟為秘書長、許崇智為參軍長、李耀漢為籌餉總辦。
護法政府並未得到西南軍人的支持，雲南唐繼堯不理不睬，而桂系陸榮廷更為冷淡。
非常國會選出唐繼堯為元帥後，9月8日唐來電不受元帥，非常國會和孫大元帥都去電勸勉，同時派章炳麟為勞軍使，攜帶元帥印前往昆明，請唐接受。
不久孫中山又發表唐繼堯為川、滇、黔三省靖國軍總司令，唐態度仍不合作，甚至滇軍師長張開儒被護法政府派為陸軍總長，也不就職。
在非常國會選出陸榮廷為元帥的當天，陸致電非常國會表示自己的政見，反對另組政府，主張黎元洪總統復職，同時通電全國聲明「以後廣東發生任何問題，概不負責」。非常國會對陸這個態度未敢譴責，且於9月3日補作一項決定，迎接黎元洪南來繼續執行職權，孫中山也通電表示迎黎的態度。
桂系的廣東督軍陳炳-則表示另一種態度，他於9月8日招待廣州報界，解釋自己的立場，他說：「馮代總統的地位是合法的，段內閣的地位是非法的，所以我們反段不反馮。」至於在廣州組織軍政府問題，他說，「我不能表示贊成的態度，也不願採取干涉的態度，但是廣東人民不能擔負軍政府和非常國會的經費開支。」
護法的軍政府是設在廣州的黃埔公園。當時南來的國會議員可分為三大系，即（一）政學系，（二）益友系，（三）民友系。政學系自稱為舊國民黨系的穩健派，其領袖李根源是擁護岑春煊的，岑和陸榮廷有部屬關係，而岑、陸又和李根源有護國時期在肇慶軍務院的關係，雲南唐繼堯亦因這種關係而有瓜葛，因此政學系在雲南和廣西佔有人和之利。政學系內分為兩派，一派是南關五十號，由楊永泰出資組織，為民主政學系之一部分，約有30餘議員，擁岑春煊為領袖，重要人物有章士釗、冷-、張耀曾、谷鍾秀、楊永泰、徐傅霖、李肇甫、文群、孫光庭等。一派是石行會館，系由李根源竭力組成，約占70餘議席，利用漠不相關之莫榮新為傀儡。兩派主張完全一致，在南方稱為主和派，與民友社的主戰派對立。
益友系就是益友社，為舊國民黨系嫡派中的溫和派，其機關原為「褚寓」，主張采進步的唯民的傾向，態度溫和，是政學系和民友社中間的調和人，也是非常國會中的多數黨，議席近300人。以吳景濂、褚輔成、王正廷等為領袖，這三人中吳為眾院議長，褚為副議長，王為參院副議長。
民友系就是民友社，是舊國民黨中的急進派，在國會中為最硬派，故有主戰派之稱。其機關部原為照霞樓，在舊國會中為唯一激烈派。其包含的分子有（一）同盟會嫡派，以林森、謝持、馬君武、丁象謙、居正、田桐等為中堅，（二）
韜園俱樂部以孫洪伊為首，（三）為共和派。
在非常國會中，政學系人數雖不多，可是最能翻雲覆雨，其他還有新新俱樂部系，系新補兩院議員的集團，在非常國會中議席近200人，其政治見地雖隨個人之歷史與地位而不同，但大多數和益友社系較接近，其黨綱采全體合議制，著名人物有張知本、何陶、尹成福、劉雲昭、趙中鵠、孔昭成。
內中傾向褚寓的有60名，傾向照霞樓的約50名，傾向政學會的約60名。此外還有蒙古議員俱樂部、文社、廣東議員俱樂部、廣西議員俱樂部、雲南議員俱樂部等五小政團。
原來國會議員南來參加護法的只有100餘人，召集正式國會不足法定人數，乃借用民國2年議院法第七條「議員於開會後滿一個月尚未到院者，應解其職」之規定，把沒有南來的參、眾兩院議員解職，然後由候補議員遞補，湊足法定人數。
護法軍政府成立後，段祺瑞要下命令通緝孫中山和非常國會議長吳景濂，馮國璋不肯發表命令，因此由北京檢察廳以「背叛民國」罪提起公訴，由司法機關行文全國，通緝孫中山。段不滿意，至9月29日，馮終被迫下了通緝令。
護法軍政府也下令通緝段祺瑞、梁啟超、湯化龍、倪嗣沖四人以資報復。