17年5月下旬，北洋軍節節後退，各國駐華使節已預感北京政府會垮台，而這一次的垮台不像過去17年軍閥混戰那樣，所以紛紛請示本國政府對中國問題的看法。在列強中，日本從「田中奏折」起就決心立即開始侵略中國，因此山東兩次出兵，以及濟南慘案相繼發生，北洋軍從山東退至河北後，日方行動亦趨積極，其狠毒面目，日益顯露。
17年5月12日滿鐵日方代表江籐三等向奉張逼簽五路協定，交通部長常蔭槐無法應付避往天津，交通部路政司長劉景山臨時辭職，表示無言的反對。日方既找不到主管的交通部，乃徑向大元帥府「逼宮」，揚言如果不給日本完成吉會路諸權利，則張作霖將來出關時即不准經過南滿路。張作霖迫於形勢，乃任命交通部航政司長趙鎮兼次長再兼代部務，令趙與日方交涉。5月13日趙鎮偕同滿鐵代表深夜到部，將敦圖、長大兩路包辦合同蓋用部印。可是趙鎮兼代部務是從5月15日生效，而合同蓋印是13日，又逢星期天，日方認為無效，迫令將合同日期改為15日。這個合同內容雙方均守秘密，其後張作霖出關遇炸，全部文件均在專車中同歸於盡，據日方宣稱所簽的合同包括敦圖、長大、延海、洮索四路，只餘「吉五」一路留待張作霖返奉後再議。
日方不僅逼簽路約，同時還計劃收繳關內奉軍槍械，逼令奉軍回奉。5月18日日本政府發出「通告中國南北政府及歐美列強覺書」一件，略謂如果動亂波及滿蒙，日本即將在該地採取維持治安的有效措施。
5月20日日本參謀本部下令秘密動員，命令內容為：
（一）駐屯滿州各部隊，主力向奉天移動。（二）由濟南撤至大連的外山旅團改赴奉天。（三）駐滿洲日軍主力集中奉天。（四）派出勁旅向錦州、義州、山海關、朝陽鎮擔任奉軍警戒。（五）維持新民屯之治安。
日本駐東北的關東軍認為這是佔領東北的開始，極為興奮，可是這個命令到了5月23日又發生變化，由於美國國務院表示「東三省行政主權屬於中國」的嚴正立場，遂使日本政府為之猶豫，並派田代皖一郎由東京遄赴東北，口頭傳達日本政府命令，仍保留張作霖地位和力量，相機待變。這一來讓關東軍激進分子大為失望，也因此斷送了張作霖的生命。
日本「覺書」發出後，美國表示反對，中國作戰雙方的立場也是一致。
5月25日張作霖答覆日本覺書，謂斷難承認日本覺書所稱「適當有效措置」。聲明東三省及京、津為中國領土，主權所在，不容漠視。並負保護外僑責任。盼日本鑒於濟南慘案，勿再有不合國際慣例措置。同時發表宣言，指日本此舉違背華盛頓會議的立場。
5月29日國民政府答覆日本覺書，由上海外交交涉員面交日本駐上海總領事，表示對於東三省的治安問題，以及中外人士的安全問題，均為國民政府自有的責任，對於日方所稱「採取適當而有效之措置」，聲明萬難承認。
同日，日本駐華海軍宣佈禁止中國南、北海軍在青島、煙台、龍口、大沽、秦皇島領海各20-內交戰。列國海軍武官對於日本海軍片面的宣佈，且未在「列國海軍武官會議」上通過，表示反對。
5月30日晨1時張學良、楊宇霆、孫傳芳離保定北上，7時抵北京，孫軍放棄保定退往琉璃河，張作霖在大元帥府召集軍事會議後即下令前線總退卻。
5月31日張作霖準備退出北京，與北洋元老王士珍商量臨時維持北京的治安辦法。北京政權每次有改變時，這位北洋三傑的「龍」王士珍總是被推選出面維持。北京各國公使團會議應變，日使主張由外兵接管北京城門，美使反對，會議無結果而散。
晉軍商震把以前扣留的奉軍要員於珍釋放，派他赴北京謁張作霖商量和平移交北京的辦法。
6月1日張作霖以茶會招待外交團話別。據說日本公使芳澤曾秘訪張作霖，勸他接受日本的條件，否則對他不利，如能接受則日方保護張氏經大連返瀋陽。這次會議時間很長，站在客廳外面的侍從人員曾聽到張氏大聲說：「我姓張的不會賣國，也不怕死。」
6月2日張作霖以安國軍大元帥名義發出通電，聲明退出北京後，政務交國務院，軍事歸軍團長負責。此後國事聽國民公決。王士珍等組成北京治安維持會，使館區晚間宣佈特別戒嚴。
6月3日晨1時，張作霖離北京順承王府私邸，1時10分抵前門車站，1時15分專車啟行，同行有潘復、莫德惠、劉哲、於國翰等外，尚有日籍顧問町野武馬與嵯峨誠也。專車過天津，潘復、町野下車，常蔭槐加入，專車共18輛，張作霖座車本在第三輛，車過山海關時加入吳俊升專車，因此張的座車排在第四輛。
在這北方局勢天翻地覆，張作霖出關的這一天，卸任總統黎元洪在天津病逝。他的去世不為人所注意，因為北方大局正在大變。
17年6月4日晨5時30分張作霖專車進入瀋陽皇姑屯，南滿路與京奉路交叉路橋下，轟然一聲巨響，吊橋橋板塌下，剛好壓在第三、四、五輛車廂上。吊橋橋板分為三節，支以石柱，柱外包以鋼骨水泥厚六尺，所以如果不是特殊的爆炸物，不可能發揮如此巨大的破壞力，同時火車通過橋下，若非用電流計算時間，亦不可能如此準確。
火車被炸後，現場屍骸枕藉，慘不忍睹，吳俊升登時殞命，張作霖重傷，日籍嵯峨顧問則僅足踝微傷。其他車廂均系隨行人員，見張老帥出事，乃迅速搶救，將交道口出事地點警戒，不准人接觸現場。並用汽車送張作霖返瀋陽。張因重傷，於上午10時去世，享年55歲。但這個消息被封鎖，外界完全不知。
根據日本投降後所洩露的各種資料，關於張作霖被暗殺經過，確實為日本關東軍所策劃及組織。
當時關東軍的司令官是村岡長太郎中將，關東軍的重要將領認為張作霖是日本控制東北的最大障礙，如果不除掉張作霖，則日本在東北的阻力非常之大，所以村岡乃親自主持暗殺張作霖。最初村岡曾秘密派遣日本駐哈爾濱武官竹下義晴到北京去執行，但被河本大作參謀窺破，認為北京耳目眾多，暗殺工作不易掩匿，所以乃改在張作霖回返東北時發動，即由河本擔任行動總指揮，陰謀決定日期是在5月31日後，暗殺地點本擬在京奉路巨流河的路橋，後因這一地區中國軍警監視甚嚴，沒有從容佈置的機會，因此河本才選定皇姑屯南滿路的吊橋為下手場所。由神田、富田兩大尉負責勘定地點，由工兵隊長管野負責裝置電流炸彈，由獨立守備隊長東宮負責發放電流；由荒木五郎率領行動員準備在爆炸後張作霖不死而臨時砍殺。此外日本駐北平武官建川美次和田中隆吉負責調查火車組織與張作霖啟行時間，同時派出大批暗探在山海關、錦州、新民屯等地佈防。
關於事件發生後的掩飾責任，亦有安排。先由浪人安達隆盛覓得中國失業軍人劉戴明，再找到售賣嗎啡的中國乞丐三名偽冒兇手，於6月3日深夜帶往南滿路附屬地一風呂浴室洗澡換衣，由日兵押到皇姑屯吊橋下用刺刀殺死。三人中有一王姓在洗澡時乘機逃脫，張作霖被炸後，該王姓乞丐即向奉軍報告，說出日方所指兩具兇手死屍即兩華丐屍體，一風呂浴室主人曾往看屍體，亦向瀋陽日本憲兵隊證實是曾在其浴室洗澡之華丐。
劉戴明原系孟恩遠舊部，民八張作霖逐去孟，劉戴明表示此次系為故主復仇，可是實際則為貪得2萬日元的酬勞費。事前河本曾付劉定金1000日元，事後則不認帳。安達陸盛把這件失信事件告訴了他在東京的親戚工籐鐵三郎，工籐把這件事告訴當時的鐵相小川平吉，小川報告了首相田中和元老西園寺。西園寺深恐劉戴明被張學良逮捕，洩露了這幕醜事，所以亟命小川償付酬金，並將劉戴明送至大連，助其開設煙館。
禍首河本自述當時關東軍對於解決張作霖後的繼任人選有張學良和楊宇霆兩派主張。炸車之日河本曾準備了一隊士兵集中南滿附屬地，因事先沒有和關東軍參謀長齋籐少將聯繫，所以被齋籐所解散。事變時關東軍竟日以電話詢問日本駐沈領事館，希望准其出兵維持鐵路附屬地以外的秩序，但被森島領事所拒絕。當天瀋陽日人住宅區曾有浪人投彈一連四次，均因中國方面官吏冷靜應付而未發生不幸事件。
瀋陽軍署於4日午起即和在北京的少帥張學良聯絡，請其火速返沈，而張學良亦已獲悉皇姑屯事變，他當時不過28歲，要應付這樣一個非常艱難而又複雜的情事，也真是不容易。當時因為不知道事變的真實原因，雖然懷疑是日本人在幕後製造，卻還不知下一步行動。日人既然膽敢謀害張作霖，則也不會放過張學良，所以張學良決心遄程返回瀋陽，就不得不採取極其秘密的部署。他化裝成一個伙夫，搭乘火車由北京赴瀋陽，經過南滿路檢查站時，步行繞過，再換乘汽車直駛瀋陽，逕入帥府。在他尚未返抵瀋陽時，奉方要人對張作霖之死秘不宣佈，只發表公報宣佈張大元帥重傷，不公佈死訊。把張的頭部以繃帶包紮起來，僅露眼、鼻、口，躺在床上，照樣擺了鴉片爐具和水果。日人來訪者請其在臥室外遙望，使日人信以為真。
張作霖的遺囑，仿劉備死後的遺詔，簽名則由張學良代簽，因少帥能摹仿老帥簽名，可以亂真。張作霖的遺囑云：
「余不幸歸途遇險，今病勢已篤，殆朝暮間人矣。余自京發從軍，早自誓以身報國，今年五十有六，死已非夭，惟是報國之志未遂，不免耿耿爾。今以奉天重任付之學良，望汝善為料理，延聘賢良，修明內政，以慰父老懸懸之望，更望我袍澤同仁，事事以國家人民為重，戮力同心，精誠團結，余身雖死，亦瞑目矣。」
張學良根據這道自己「偽造文書」的命令，就任奉軍代理統帥，然後急調嫡系部隊星夜返沈。
張學良同時邀請老一輩奉系大將來帥府共商善後。張作相見到他以後又是難過又是高興，他說：「小六子（張學良的小名）你放心幹好了，我們都會支持你。在公的方面如果我們不服從你的命令，你只管拿軍法來辦我們。可是私底下你還是我的侄兒，如果知道你不好好的幹，我會在沒有人的時候打你的耳光。」張作相在老一輩奉系中是最有份量的，他這一番話等於決定了張學良的繼承權。
6月19日奉天公佈張作霖逝世，由張學良繼任奉天督辦，宣告停止軍事，休養生息，萬福麟被派為黑龍江督辦。
6月24日東三省聯合會通電推舉張作相為東三省保安司令兼吉林司令，張學良為奉天司令，萬福麟為黑龍江司令。
張作相堅不就東三省保安司令，7月4日東三省聯合會乃改舉張學良，張即日宣佈就職。張作霖雖出身綠林，沒有讀過書，可是深知國家民族大義，他不肯作日本傀儡是他致死的最大原因，因張未能執行所謂「廿一條中有關南滿、東蒙古農工業的中日新約」部分。日人雖在北京向袁世凱敲詐成功，但在東北現場，對於張作霖曾經過多年交涉，終未達成所願。吉敦路雖然修成，而東北本身，亦自修沈海路、四洮路、打虎山路，打通平沈路線（當時叫京奉路），以對付之。至於商租雜居，始終成為懸案。當民國十五六年時期，日本駐奉天總領事吉田茂是著名的日本外交家，某次為中日交涉，曾向張盛氣凌人地說道：「你要真不接受的話，日方當另有辦法。」張乃反唇相譏地答道：「怎麼說！你們有什麼好辦法，儘管拿出來，難道又要出兵嗎？我姓張的等著你的好了！」說完話，就起身送客，吉田弄得很難堪，於是辭職離開瀋陽，日方另派林久治郎繼任，同時派政友會幹事長和鳩山一郎齊名的森恪前往大連，轉赴北平，召集會議，面授機宜，由駐華公使芳澤謙吉出面，向張交涉，因為此時張已就「安國軍大元帥」之職了。
到了戰事不利準備退出關外，張作霖仍不肯屈服於日本軍閥的威脅利誘，最後關東軍只好途窮匕首見了。
關東軍謀殺張作霖後，當時的日本首相田中最為失望。田中所進行的外交壓迫已經收效，他壓迫張作霖簽署了鐵路協定，而奉軍回師關外亦受到日方勸告。田中認為他的分離滿蒙策略假以時日必能實現，卻不料霹靂一聲，張作霖被炸死，這一來田中的整個安排都受到影響，關東軍既然殺死了張作霖，等於逼迫整個奉系反日，因此除了強佔東北外，已無他路可走。所以田中深感痛心，憤懣之情溢於言表，曾告宇垣一成和岡田啟介，欲將關東軍首要分子及暗殺的策劃人交付軍法懲辦。日本元老政治家西園寺也預感軍人野心分子胡作非為，橫行霸道，軍紀為之廢弛，若不整頓，前途不堪設想，因此也極為贊成。可是參謀本部和陸軍部的中級軍官則極為反對，他們認為關東軍如此做法是為了日本，其本意實可嘉許，何況迫於客觀情勢，他們的功勞不能明令旌賞，亦當原諒其用心，不予懲罰，堅持勿揚國恥，最多只給以行政處分了事。執政的政友會也怕事情鬧大了予反對黨以可乘之機，所以亦勸田中首相含糊結案。
這件公案在日本政府中引起了極大的爭論，前後拖了一年多，田中有心振作，卻屈於少壯軍人的恐嚇，最後以「張案經過周密的調查，發現關東軍並未牽涉在內」的含糊語句結案，並且呈報昭和天皇。昭和對於田中在張案發生時所報告的和一年後的報告完全相反，前者肯定認為關東軍主謀，應該把肇事首犯交付軍法審判，後者卻說關東軍沒有牽連在內，前後矛盾萬分。因此在覽讀奏章時大為震怒，且竟佛袖離座，予首相極大的難堪，甚至在退席後餘怒未息，悻悻然告訴侍從長說此後不願再見田中，田中受到天皇這樣大的斥責，大為羞憤，乃呈請辭職，幾個月後竟因此抑鬱而死。
關東軍暗殺張作霖的舉動雖然沒有動搖日本分離滿蒙的日本國策，可是田中分離滿蒙所選定的對象則因為皇姑屯一炸而需要重新安排。當時曾任張作霖顧問的日本陸軍少將松井七夫主張扶植楊宇霆，而日本駐奉天特務機關長則主張擁立張學良，而關東軍參謀長齋籐恆看上張作相，刺張的主謀兇手河本大作則擬定張景惠。東京方面對張作霖的繼任人選沒有積極的主張，不過東京方面有一個原則，就是任何人都可以，只要能阻擋南京國民政府的政治權力伸入東北，使東北成為一個特區，為日本勢力範圍。事實上這一點非常困難，因為在張作霖被關東軍謀殺後，東北軍民對日本軍閥的憎恨更為增加，他們不一定喜歡張作霖，可是卻對於日本軍閥用此卑劣手段對付張作霖，為之寒心。
17年6月15日至7月16日這一段期間，關東軍參謀長齋籐恆、日本駐北京武官建川美次均分別向日本陸軍省報告，認為東北脫離中國本部的時機已經成熟。而日本外務省亞細亞局局長有田亦正草擬「對支方策」，方策分為兩部分：一為一般方針，強調以和列強協調為手段，以承認國府為歸宿；一為防止滿洲赤化為理由，以東三省脫離中國本部為目的。日本外務省有此「方策」，顯示外務省態度已在轉變，原來日本政府對東三省的措置分為兩派，軍人主張用武力控制，造成既成事實，促成東三省脫離中國；外交人士則主張採取條約一步一步地控制東三省，最後目的亦是使東三省脫離中國本部，殊途同歸，不過一是積極路線，一是消極路線。如今外務省新的「對支方針」也採取條約以外的方法，顯見在張作霖被炸後，日本政府的和緩派已有改變。
事實上，無論外交官和軍人，均以各種手段向張學良施壓力，壓力集中在兩點上：一為阻止張學良易幟，不許張學良投向南京的國民政府，以破壞中國的統一。二為滿蒙鐵路權益的伸張。日本田中首相於6月26日兩次密電駐瀋陽的日本總領事林久治郎，飭其警告張學良勿與南方妥協，又於7月18日重申前飭。林久治郎於6月29日、7月18日兩次謁見張學良，7月19日更把田中的意旨面送給張，內容為：
（一）南京國民政府含有共產色彩，且其地位尚未穩定，東北目前犯不著與南京方面發生連繫。
（二）如果國民政府以武力進攻東北，日本願出兵相助。
（三）如果東北財政發生困難，日本正金銀行願予充分接濟。
張學良看了田中的三點建議，很冷靜地問林久治郎，他說：「我是不是可以把日本不願中國統一的意見，或東北不能易幟是由於日本的干涉這項事實報告國民政府？」林久治郎見少帥如此質問，為之啞然，避不作答。因為從純外交上而言，這就是干涉中國內政。張學良第二天拜訪關東軍的村岡司令官，再把他對林久治郎的話對村岡複述一遍，村岡亦未作答。
當張學良出掌東北軍政大權後，閻錫山、李烈鈞等均以父執身份用函電或派專人勸告張學良以政治方法達成中國統一。張學良一方面受到日本的壓力，又以父仇不共戴天，其內心是亟望投向中央，不過迫於形勢，不敢輕舉妄動。
民國17年六七月間，中國全國均心向統一，除了山東濟南和即墨兩縣因受日軍干涉，不准易幟，東北情況特殊，尚未正式表示外，均是一片青天白日旗飄揚，即遠在國外之各使領館以及僻在西陲的新疆均無例外。
張作霖死訊正式公佈後，日本政府特派駐法大使林權助為特使，赴瀋陽弔喪，並且向張學良遊說。林權助和張作霖是好朋友，因此就私人的關係來說，他是以父執的身份來探望張學良的。日本政府曾給林權助一個秘密訓令，內容為：
「自日本觀點言，在目下情形中，東三省與南方講求妥協實甚不利。幸張學良已自動不與南方續洽，則東三省當成為中國最進步之省份。此不特中國一省或日本一己之利益，中國全部人民之利益亦即在此。深信張大元帥如尚在世，必願見此成就。張學良循此路線，亦足以完成其先人之遺志。
萬一南軍侵入東三省，則日本決盡其犧牲以執行其現時之政策，維持東三省之和平與秩序。」
林權助於8月3日抵瀋陽，4日起至12日連續與張學良
密談四次，其中最露骨之一次是8月9日，在坐除張、林兩人外，還有張學良的助手王家禎，林權助的助手佐籐少將。雙方談話頗尖銳。
林說：「國民政府內部有糾紛，共產黨在幕後操縱，假如東三省與國民政府妥協，日本在東北的權益將受到極大損害。因此，日本政府希望東三省的軍政當局採取觀望態度，不要和國民政府攜手。如果東三省蔑視日本警告，而率行易幟，則日本將採取自由行動，這一點日本政府是有決心的，希望貴總司令能夠瞭解，同時能下決心鎮壓不良分子，如有需日本之處，日本政府願全力相助。」
張答：「我是一個中國人，當然以中國人的立場為出發點。我不願意看到中國分裂，而願中國走向統一，實行分治合作之政治。貴國之勸告，我當然予以考慮，不過必需以東三省人民的利益和志願為依歸。如果東三省人民公意要求統一，我唯有依照人民公意。貴使提到日本要採取自由行動，我相信基於國際公法上，日本當不至甘冒干涉中國內政的大不韙。我今天深感遺憾的，是日本方面一再以強硬態度對我威脅。」
林說：「事實上日本政府已有決心，在東三省採取自由行動，即使冒干涉中國內政之嫌亦所不避，希望貴總司令速作決定。」
張答：「我的決定不會受日本的壓力，而是以東三省民意為定，在任何情況下，我不能違反東三省的民意。」
至是佐籐插嘴說：「現在不是講是非的時候，田中首相的決定就是是非之抉擇。貴總司令如拒絕田中首相的抉擇，東三省將生重大事體。」
林說：「我和令尊是好朋友，敝國政府派遣我來弔喪，就是因為我和貴總司令有這種淵源。在私誼上說，我把貴總司令當作自己子侄，有危險我不能不奉告。」
張學良聽到林權助倚老賣老的無理言辭，立刻還以顏色，他岸然告訴林說：「我和貴國天皇同歲，閣下知道不知道，對於閣下剛才的話，我所能奉答的就是這些。」
於是張學良乃端茶送客，雙方不歡而散。