督軍團在北京胡作非為，一會兒主張對德宣戰，一會兒贊成包圍議會，最後又提到憲法，可是有一個最好出風頭而又最好發議論的大督軍張勳，此時卻在一旁不發一言，不做一事。黎元洪忽然想到他的身上，黎想：這個老粗是反對對德宣戰的，又是個不願擁護段內閣的，倘能把他拉到自己的陣線來，豈不是可壯聲威而寒段派之膽。黎用以聯絡張勳的是李經羲，李是前清時代的雲貴總督，洪憲皇朝嵩山四友之一，最妙者蔡鍔和張勳都是他的老部下，所以洪憲將失敗時和督軍團倡亂干政時，這位年將就木的老官僚竟從冷宮中變成了紅極一時的要角。李推薦江西籍國會議員郭同到徐州連絡。
同時段祺瑞也看中了張勳，想從他的身上找出絕處逢生的路線來。段估計張有兩件事可引為同志，第一痛恨國會，第二輕視總統。於是段派徐樹錚秘密到徐州，請他借參戰問題予國會以致命之打擊。
張勳卻自有打算：解散國會是絕對贊成的，驅逐總統亦無不可，可是假若兩者之目的是擁段，則不願白費氣力；他想利用府、院之爭，國會與內閣之爭，造成復辟的機會。他向段的使者討取合作的代價：「總理如能贊成復辟，這兩件大事我姓張的一個人包辦好了。」
張勳估計復辟的可能性：第一，段表示無可無不可的態度；第二，馮國璋和陸榮廷可引為同志，其餘的一般武人，張早已窺破了他們的心理，對內閣問題、參戰問題、復辟問題一切都無所謂，他們沒有中心思想，只以個人權位及地盤為前提。張又自命深深懂得一般人的心理，以為民國疆吏不及前清督撫之尊。這位「心理學家」抓住了許多要點，又利用北方政潮，所以絕不躊躇地認為是復辟的千載一時之機。他對老上司（李經羲）並沒有任何好感。他對黎的密使郭同，極口稱讚：「咱們的大總統真是一位忠厚長者，咱斷斷乎不許別人欺負他老人家。倘有用得著張某人之處，咱們當部下的難道不能替他出一番死力！」郭回京報命後，黎認為張本是督軍中最不可理喻的人，現在他尚且肯就範，還有那個敢公然造反！他又深信張的話說一不二，決非口是心非的人，所以他下了免段的最後決心。
督軍團呈請解散國會，國會議員紛紛避居東交民巷和六國飯店，有錢的老百姓都紛紛逃難到天津。
5月20日後，段知道府方改派內閣總理的命令即將發佈，因此召集有關方面舉行秘密會議，討論對策。到這時候，連最靠攏他的研究系人物也勸他作必要的退卻，以便積蓄力量，待機反攻。於是段派范源濂到天津，請徐世昌出面來組織新內閣，本人願意在新閣中留任陸軍總長。徐這時當然不肯跳火坑，他表示他決不接受組閣的新命。
21日，段又親訪王士珍，請其權代內閣總理。王也向他作揖打拱地「敬謝不敏」。
同一天，段出人意料地到公府來見黎，表示迫切希望擺脫一切。他說：「我已經找過了徐菊老，找過了王聘卿，他們都不肯擔任內閣總理。請總統從速為我找到替身，以便交卸。」黎回答說，他一時還沒有找到適當的人選。段從公府退出來，即命陸軍部向路局接洽專車，宣稱於當晚9時離開北京。
直到這時，段既未呈請辭職，又與督軍團保持密切聯繫，企圖留任。其所以演出這套戲法，是用以和緩黎下令免他的職，以便爭取時間來佈置另外一套戲法。在此以前，他的黨徒曾建議用清一色的自己人補充已辭職和已去職的閣員，以便與國會和總統作戰到底。他沒有接受這個意見。此時，他擬就了一張補充閣員的新名單：以夏壽康為內務總長，饒漢祥為司法總長，湯薌銘為海軍總長，孫寶琦為財政總長，莊蘊寬為農商總長，汪大燮為交通總長。耐人尋味的是：這張名單幾乎沒有一個人是段的私黨，打頭三名就是黎所喜愛的湖北人，其餘也都是黎具有相當好感的人。很明顯，這是段想以此交換黎維持其內閣總理的地位。
22日，段命院秘書長張國淦攜帶這張名單徵求黎的同意。黎因段戀棧感到十分驚奇，他沒有在這張名單看上一眼就冷冷地說：「名單上都是一些安徽人吧！」可是，當他接到手裡一看，看見名單上有不少湖北人時，臉色就和靄多了。張國淦退出來後，黎立刻召集幕僚討論這張名單。幕僚們都很樂觀地說，老段外強中乾，不可中他緩兵之計。這時，伍廷芳已經答應代理內閣總理，王士珍答應在老段下台後盡力幫總統的忙，東交民巷外交團方面也已經接洽好，督軍團則已經離開北京，一切都是罷免老段的最好時機，此時如不下手，更待何時？黎也相信這是大好良機。
23日，張國淦再到公府討回信，黎就把免段的最後決心向他直截說明。張勸他再加考慮，話剛出口，站在黎身邊的金永炎突然拔出手槍來，對著張的胸膛晃了一晃，惡狠狠地說：「不許開口！一開口我就一槍打死你！」黎揮手叫金永炎退下去，並向張表示歉意，派衛士護送他離開公府。
黎把印鑄局局長吳芨孫叫出來，把免段的命令交給他即日公佈。但是吳不肯接受，他說總統命令從來都是由國務院交到局裡來的，沒有由總統直接交下來的前例，他一鞠躬退了下來。
同一天，那位年老多病久不視事的伍老博士出人意料地到了國務院總理辦公室，將三道總統命令發交印鑄局發表。第一道命令是免去國務總理段祺瑞的職，特派外交總長伍廷芳暫代國務總理；第二道命令是派陸軍部次長張士鈺暫代陸軍總長；第三道命令是派王士珍為京津一帶警備總司令，並派江朝宗、陳光遠為副司令。原來還擬好了懲戒倪嗣沖和告誡督軍團的兩道命令，卻被黎臨時抽回，沒有發表。
同一天，黎通電各省報告處理內閣問題的經過。電報說：
「段總理任事以來，勞苦功高，深資倚畀。……乃日來閣員相繼引退，政治莫由進行，該總理獨力支持，賢勞可念。當國步阽危之日，未便令久任其難。本大總統特依《約法》第三十四條，免去該總理本職，由外交總長伍廷芳暫行代理，俾息仔肩，徐圖大用。一面敦勸東海（徐世昌）出山，共膺重寄。其陸軍總長一職，擬令王聘卿繼任。執事等公忠體國，偉略匡時，仍冀內外一心，共圖國是。」
同一天，段乘車往天津，黎派公府顧問丁槐贈以程儀1萬元，並派侍從武官長蔭昌代表送行。段臨行前發表漾電說：「……查共和各國內閣制，非經在任內閣總理副署，不能發生命令效力。以上各件（指以上三令），未經祺瑞副署，將來地方及國家因此生何影響，祺瑞一概不能負責。」這個電報顯然是控訴總統以非法手段免去他的國務總理，不承認這個命令有效；電報末尾署名為「國務總理段祺瑞」，顯然仍以在職的國務總理自居。
伍廷芳也發表通電否認命令違法，他根據《約法》的第三十四條，解釋總統有任免文武官吏之全權，並且舉出「民元唐（紹儀）、熊（希齡）免職，陸（徵祥）、趙（秉鈞）受代，先例具在，與《約法》皆無牴觸」。他是以北洋派之矛，攻北洋派之盾，因為更換內閣總理的命令，不經原任內閣總理副署，已由北洋派的創立者袁世凱開其端，而當時並未被認為違法，則這次發表的命令也不能認為違法。