國民革命軍北伐後，國際間的阻撓，其影響不下於在戰場上的北洋軍。當時萬縣、漢口、廣州、上海、南京都發生了極大的麻煩，而最嚴重的莫過於日本出兵山東了。
日本出兵山東是田中內閣所經手，這是個極具侵華特性的內閣。
日本田中內閣成立時，正是張作霖在北方準備登上第一把交椅的時候，由於張作霖左右有與田中關係密切的，所以奉張對田中組閣頗為寄望，可是田中上台後，所有表現都顯示是一個具有強烈侵華意圖的內閣。
16年5月27日，日本田中內閣閣議通過，出兵進駐中國山東，保護日本僑民。
27日9時半，田中入宮覲見日皇奏報：
「以步兵第十聯隊及六十三隊約二千人，與無線電信隊五百卅名，自大連乘香港丸出發。部隊長是步兵第卅三旅團長鄉田兼安少將。前往中國山東省濟南市保護日本僑民。」
31日日軍抵青島，6月1日全部登陸，繼即前往濟南。
5月28日日本政府發表出兵聲明，全文如下：
「茲征於中國最近之動亂，尤其征於南京漢口其他地方之實績，當兵亂之際，因中國官憲不得充分保護，致僑居之帝國臣民之生命財產，蒙重大之危害，甚至見毀損帝國名譽之暴舉。因而現下華北動亂迫切之際，難保無再發生此種事件之虞。今也前述動亂行將波及濟南地方，就僑居該地帝國臣民生命財產之安全，危懼之念，有不能不措置者。帝國臣民居住該地者，達二千名之多，而該地為去海岸甚遠之腹地，到底不能依在長江沿岸各地之海軍力量以保護之。因此，在帝國政府為預防不祥事件再發起見，不得不以陸軍保護僑民邦人之生命財產。然為前述保護派兵之佈置，須要相當之時日，而顧戰局正在刻刻變化，故應急措置，決即時自駐滿洲部隊派遣約二千之兵於青島。前述依陸軍力之保護，固不外為期僑居邦人之安全，自衛上不得已之緊急措置，不惟對於中國及其人民，無何等非友交的意圖，而對於南北軍任何方之軍隊，亦非干涉其作戰，妨害其軍事行動者。帝國政府因自衛上不得已之措置而派兵，但自始無長久駐屯之意圖，至對於該地方之邦人無受戰亂之憂之虞，當即將派遣軍全部撤退。」
日本出兵山東後，中國朝野為之大嘩。南京國民政府外交部長伍朝樞向日本駐滬總領事嚴重抗議。北京政府亦表示反對。
南京國民政府外交部對日本出兵山東的抗議電文如下：
「貴國此次出兵山東，聲明理由為保護該地之日本僑民生命財產。查山東日僑生命財產有無危險，何屬懸揣。國民政府遷都南京以來，迭次宣言，對於外人生命財產，按照國際公法竭力保護。乃本政府北伐軍隊將到山東境內之時，貴國政府突有派兵山東之舉，於公法上既無根據，於本國領土主權復有妨害；本政府不得不提出嚴重抗議。並聲明：如因此發生意外事故，貴國政府應負完全責任。年來中日兩國國民感情日臻融洽，倘由此次舉動頓起種種疑感，足為好感之障礙，殊屬可惜。應請貴國政府將已派出之軍隊即日撤退，是所切盼。」
北京方面，5月30日下午4時，張作霖親往日本駐華使館拜訪日使芳澤，詢以出兵事件，芳澤即口頭通知出兵原因。張云：「此事殊不好辦，目下北方情形外僑並不危險，且漢口、南京方面發生大麻煩，日本都未派兵，卻在本人勢力下的北方派兵，極易引起誤會。並足以使外間懷疑日本出兵系奉方所運動，故本人鄭重請日本政府考慮。」
當天下午5時，芳澤赴北京外交部正式通知「出兵事件」。略謂：中國時局不定，徐州以北已有隨時發生變化之可能。前在寧漢事變，僑民受損實多。今茲情勢亦有發生可能。查日本僑民在青島者達兩萬，沿膠濟路者約八百，在濟南者約兩千，在目前局勢緊張之下，日本僑民殊有不能不從事防衛，且有採取有效之手段，因此日政府於滿洲抽兵赴魯，出兵目的純係自衛，與南北軍事無涉。如將來時局安定，日兵自必立即撤退，希望中國諒解。顧維鈞當即表示：日本此次出兵有違常軌，易引起誤會，且日僑現狀平安，殊無增兵必要。芳澤告辭後，顧即命人預備抗議照會，6月1日北京政府向日使館提出抗議照會，全文云：
「為照會事迭據駐日張代辦報告，日本政府決定出兵中國北方，數約二千名，並准山東張總司令電稱……等情。查山東內部極稱安靜。關於保護各國僑商，迭飭妥為辦理，近數年來，青濟僑商，實無因我國軍事影響，而稍有妨害其生命財產之事，況濟南青島，與上海漢口等處有租界者，截然不同。乃日本政府突然派兵來華，不惟侵犯中國主權，且易引起人民誤會，除派員就地交涉外，請向日使提出嚴重抗議，務使完全取消各等語。正核辦間，續准貴公使來部面稱本國政府為保護僑民起見，特派軍隊赴青島，如有必要，並擬進駐濟南，事平立即撤退等因。當以此種逾越尋常之行動實無理由。中國政府實難緘默等語，奉告貴公使在案。查青島地方，自照華府會議協定交還以來，系屬完全中國領土，義當切實尊重。且自貴國軍隊撤退以後，地方官維持治安，不遺餘力。外僑生命財產，無不備受保護。近年雖各省時有軍事，而在魯外僑，從未受絲毫影響，殊無派兵保護之必要。此次貴國政府，不先徵求中國政府同意，突然派兵來青，且欲相機赴濟南，不能不認為違背條約，侵犯主權之行動，至深遺憾。現在山東地方民情已甚憤激。倘因此引起全國人民之誤會，中國政府不能負此責任也。為此提出正式抗議，照會貴公使查照。請即迅予轉達貴國政府中止派兵赴青，其已開到埠者應令勿遽登岸，從速折回，俾免引起糾紛，而影響於兩國現有親睦之邦交。切盼見復為荷，須至照會者。」
這次日本出兵山東，停留時間並不久，16年8月中旬起即陸續集中青島，準備撤退。8月21日先有日軍300名搭台中丸回國，根據9月3日張宗昌的山東督辦公署給外交部的咨文，敘述日軍撤退經過文如下：
山東督辦、省長公署咨行事，據膠澳商埠局總辦趙琪呈稱，竊據警察廳長王慶堂呈稱：本年九月七日奉鈞局第一零四零號訓令內開，頃奉保安總司令張、代理省長林微電內開，東電悉，日軍撤退，此間亦據日本方面通告，當即轉電國務院外交部查照在案。嗣後青島各國僑商，應即飭屬隨時加意保護，所有日軍撤退情形，仰仍具報察核，特復等因。奉此，合亟令仰該廳轉飭所屬，嗣後青島各僑商，務須隨時加意保護。並將日軍撤退情形詳細具報，以憑核轉，切切此令等因，奉此，遵查膠濟路沿線所駐日軍，於八月中旬，即節節移動，集中青島，以備撤退，均經隨時報告在案。
八月二十一日，先有日軍第十師團及第十四師團三十三旅團各部兵士三百餘名，搭台中丸回國。
八月二十七日，又有三十三旅團第十聯隊兵士七十三名搭台中丸回國。九月六日，第十師團兵士五百餘名全副武裝，攜大炮八尊，子彈二千箱，大米二百包，馬一百四十餘匹，馬車一百四十件，搭龍鳳丸回國。
九月七日，又有日軍第十師團司令部長谷川中將，帶隨員八十七名，第八旅團司令部中島少將，帶隨員十名，率領步兵全部計一千零九名，馬五十一匹，由二號碼頭登台中丸。
又有日本輸送指揮官天野大佐，帶第十聯隊全部官兵計一千零八十七員名，隨帶機關鎗五架，高射炮一架，無線電機車三輛，馬三十二匹，亦由二號碼頭登春華丸。所有給養物品，均繫於本月六日經該軍運輸部用載重汽車由大港路山東倉庫起運，分裝該台中、春華二輪，計子彈各軍用品、大米、馬草等物約三千餘件，於六日先期登輪。
九月八日，又有日軍三十三旅團六十三聯隊鄉田少將，帶隨員步兵及鐵道隊、電信隊、兵士共計一千五百一十名，馬三十八匹，給養馬草、子彈共約一千餘件，由二號碼頭登原田丸回國。
同日，又有三十三旅團六十九聯隊指揮官伊木少佐，帶步兵八百七十五名、馬三十一匹、並給養馬草、大米、子彈共約一千餘件，由二號碼頭搭神瑞丸回國。當各軍登輪時，本埠軍政各機關及日本商學各界約一千五百餘人在碼頭歡送，並經廳長帶同長警多名，在碼頭照料，均屬表示親善。現已撤退完竣，除通令各署對於各國僑商，隨時認真保護，免貽外人口實外，所有日本陸軍撤退情形，理合具文呈報。仰祈鑒核轉報，實為公便等情，並據港政局報同前情，除分呈外，理合備文呈報，仰祈鑒核等情，到署。據此，除指令並飭特派交涉員查照外，相應咨請貴部查照為荷。
督辦山東軍務善後事宜張宗昌
代理山東省長林憲祖
日本政府的撤兵聲明如下：
「帝國政府鑒於山東地方不靖之情形，為保護本國僑民起見，先行暫派軍隊，前往青島。果然該地方將為南北交戰之區，膠濟鐵路沿線地方擾亂之危險，日見切迫，故不得不令派遣軍移駐濟南。惟雖有此擾亂，所幸迄今能保護日僑，而不致於發生何項不祥之事案，是則為本國出兵之效果，山東地方之事態，略為安定，暫時無若日僑受戰禍之處。為此帝國政府，應照當初聲明，茲定即行撤兵回國，將來在中國各地方，不但山東地方，而日僑眾多之處，若有治安不靖，戰禍再波及日僑之虞時，帝國政府又不得不講機宜自衛之措置，特此慎重聲明。」
北京政府外交部山東特派員陳家麟呈外交部文如下：
「為呈報事，竊查前因魯省時局不靖，日本政府竟借口保護僑民，特遣派日軍分駐青島、濟南以及沿路各縣，迭經交涉禁阻，迄未中止進行，一切詳細情形，前已備文呈報在案。茲因日前雖有戰事，但經我方當局竭力保護，所有日僑均獲安全，並未受有若何之損失。刻下魯省時局已日趨緩和，實更無駐兵保護之必要，經即迭向日領提出抗議，敦促退兵。九月一日始准該領正式函復，已允即日撤退。計自本月三日起至六日止，所有前派駐紮濟南各日軍，均已陸續退出。嗣復經詳確調查，日前分駐青島以及沿路各縣各日軍，亦均一律撤盡，除已分別呈報外，理合備文呈報鈞座俯賜鑒察。實為公便。再前因分途調查，致稽時日，是以呈報稍退，合併陳明。謹呈外交部長王。
特派山東交涉員陳家麟」
當孫傳芳率兵南攻時，日本以為革命軍勢不能再北攻，所以宣佈撤兵，不料孫傳芳慘敗，蔣中正復職北伐，前後不過一年，革命軍再度逼近濟南。日本乃又借口護僑，先以駐華北的三個中隊，佔領膠濟路，然後日本內閣會議決定派遣第六師團進兵山東。第六師團長福田，是個驕橫的軍人，他率領5000名士兵乘船由青島登陸，於5月1日開進山東，山東重要城市青島、濟南、龍口、煙台均為日兵進駐。
日軍開入濟南是5月2日，而革命軍攻克濟南卻是先一天，於是迫使日軍和革命軍正面衝突，發生了最醜惡的「五三事件」，顯露出日本軍閥無恥萬惡的罪行。
五三慘案中，以日軍殘殺中國駐濟南外交特派員蔡公時最為可恨，蔡公時殉難經過，有他的勤務兵張漢儒從受害的行列中逃出後，所敘情形如：
「五月三日晨，日兵在領事館一帶佈置防線，交通即為斷絕，九時許，有國軍一隊，進駐交涉署對面之基督醫院內，為日軍瞥見，即開槍射擊，斃我兵士、伙夫各一名，該隊為避開凶焰，乃停止搬運，紛紛藏匿醫院之樓上。此時適有一日兵於涉署門首，向醫院上射擊，同時又四面發現槍聲，而該日兵忽為流彈擊斃，旋另一日兵趕來，意在救護該已死之日兵，亦被擊斃，而各處槍聲復大作，彈下如雨，全署員役均懾伏樓上不動，延至下午三、四時頃，槍聲稍止。街衢發現類似各領館之汽車，車前皆豎旗幟，馳驅往來，形似勸止日軍停戰，時槍聲亦告沉寂，但見日兵滿佈街頭，交涉署門前亦有日兵往來梭巡，我外交特派員蔡公時，因事出意外，命人出外探聽，竟為日軍所阻，當派員與之交涉，迄無效果，乃蟄居樓上，靜候時機。延至天晚，日兵仍防止交署如故，全署人員，紛紛計議，始終不得要領。時屆夜分，正各自就寢，忽搗門之聲大作，勢極兇猛，傳令奔告日兵撞門，請示辦法。蔡主任諭令開門延入，詎日兵不俟開門，已破門而進，計約二十餘人，內有一佩指揮刀、一擎盒子炮之兩軍官，更有一著西服者，進門後，即指揮剪電燈、電話，全署頓成黑暗，而彼則攜有手電筒探照，此時著西服者操中國語，大意謂予等為搜查械彈而來，實因日間被槍斃死兩日兵，必系爾署內所為，故來與爾主管官理論。
蔡主任聞言，即出為解釋，大意為日間所斃日兵，確係為流彈誤傷，我等外交人員，從不攜帶槍彈來辦外交，貴部隊似可不必搜查，免滋紛擾，詎彼一味蠻橫不可理喻，堅持非檢查不可，此時蔡主任既窮於抗辯，姑允所請。奈彼尋釁心切，又作進一步之強迫，謂必須將全署員役捆縛搜檢。蔡主任以國體攸關，不予承允，乃彼竟恃強橫，謂若不承允，將行強迫捆搜。蔡主任見其無理可喻，勉為應允，旋即鄭重聲明，謂如搜查後不獲證物，仍應速請解縛，恢復自由，彼偽為許可。由是除蔡主任外，全署員役，均被捆縛，旋復翻箱倒籠，到處搜尋，但迄未獲一槍彈，乃攫取署中公牘五大包，勢將攜出。蔡主任乃請彼如約釋放所縛員役，詎彼反大肆咆哮，謂我等奉命而來，非奉命不能釋放，言畢相率攜公文而出，但不半時許，彼復來署，仍執前說，謂日兵確係署中槍殺，非交出槍彈不能了結。
蔡主任對之復解釋如前，且雲署中已經搜查，絕無凶器可以證實，我國決無槍殺貴國士兵之嫌疑，貴部隊應考查其真象。言畢仍請如前約釋放員役，以敦睦誼。詎彼全不理會，並令將蔡主任一併捆縛。
至此蔡主任忍無可忍，乃操日語謂：『汝等不明外交手續，一味蠻橫，此次貴國出兵濟南，原系保護僑民，何得借隙尋釁，肆行狂妄，作種種無理之舉動，實非文明國所宜出此。至如已死之日兵若果系敝署所為，亦應由貴國領事提出質問，則敝國自有相當之答覆，何用汝等嘵嘵不休耶？若汝等果系奉貴國領事之命令而來，則本人即至領事館交涉，亦無不可。』語畢，日兵即大嘩，旋復將捆縛之員役，排列為一半圓形，而慘無人道之日軍官，即今日兵以刺刀對所縛諸人之頭部肆行砍剝，須臾，諸人斷鼻缺耳，血肉模糊，其狀慘不忍言。蔡主任目擊之下，大聲呼號：『日人槍殺我們了，此種國恥何時可雪？』言罷淚涔涔下，同人聞言，均放聲大哭，群相痛罵，日兵益怒，更刀槍拳足，交相並下，盡力侮辱後，復將諸人分三四組拽出屋外，執行槍決。」
以上是張漢儒所目見，當時蔡公時與張麟書及周某、姚某等為第一組，首先殉難，而縛於第二組的勤務兵張漢儒，在忙亂中由案上跌地，拾得剪刀，乘黑暗剪斷束縛，乘機逸出，奮勇登高，連越四牆，才落在一個空地上，該地有一空水桶，張於驚懼之下，即伏桶內，不久天明，張正無計逃出防線，遙聞小車聲遠遠而至，伸領探視，系一推水之苦力，乃待其近前，張即對之略述昨夜之經過，求為援救，苦力亦淚瀅瀅允為設法，張探手衣袋內，尚有五角，以授苦力，易其短衫一件，更換血衣，始出桶外，冒充推水的人與苦力拉車，繞道混出防線，即奔往各官署，報告蔡公時被難情形。總司令部聞訊後，即為張攝制受傷照片，以作日後交涉的證據。
日軍慘殺中國外交特派員及其隨員後，又轉向中國外交部辦公處行兇，勒令中國軍隊繳械。當時國民政府外交部長黃郛亦在濟南，蔣中正即囑黃就近交涉，毫無結果，黃郛隨從護兵所攜帶的步槍26支亦被繳去。黃郛乃急電日本外務大臣田中，請立即制止日軍暴行，並撤退駐兵。5月4日上午英、美駐濟南領事出面調停，形勢略轉緩和，可是到了晚上，日軍復行射擊，福田師團並由青島增防濟南，更不斷以飛機大炮轟擊濟南駐軍和無辜人民，革命軍駐紮五大馬路緯一路廣東會館之第四十軍第三師之第七團，及駐小緯路四路之第卅七軍第一團，與緯一路北首王店，津浦路第一區警察全被日軍繳械，被俘徒手官兵1000餘，拘禁正金銀行，斷絕飲食，不准坐臥。至5月7日，福田更向革命軍提出如下之條件：
一、國民革命軍須離開濟南及膠、濟路沿線兩側20華里以外。
二、中國軍隊治下，嚴禁一切反日宣傳，及其他之排日運動。
三、與騷擾及其暴虐行為有關之高級軍官，加以嚴重處罰。
四、在日本軍前面與日本軍抗爭之軍隊，解除其武裝。
五、為監視實行上列各條件起見，將辛莊、張莊兩兵營開放。
上述條件，日方限當晚12時前答覆，否則即行攻城。蔣中正以條件太苛，遂於5月8日晨，交由戰地委員會主席蔣作賓派員向其交涉，申明所提離開鐵路沿線一條，影響北伐軍之行動，難以接受外，余可考慮協商。交涉卒無效果，復於當日上午派熊式輝、羅家倫遄往日軍司令部談判，亦無結果。福田旋即開始攻方醫院與其他各處療養之傷病官兵，搶劫公司商店，破壞黃河鐵橋及新城兵工廠，並向革命軍泰安總司令部轟炸。5月9日蔣再派何成浚全權代表赴濟談判，幾經波折，始抵達濟南，福田仍堅持前提五條，且擴大對中國軍民之屠殺與轟擊。因此留濟南警備的革命軍，乃於5月10日夜11時半，在被迫狀況下，暫時退出濟南。在這次慘案中中國傷亡軍民約110062名，新城兵工廠之損失，在600萬元以上，其他更無法統計。（此案一直延至民國18年元月23日，日使芳澤來華，經過五次之談判，始正式簽訂協定撤退日兵。）