五方會談在哈里斯與布爾布隆到來之後立即展開，會談的焦點是九州的歸屬和日本向中國朝貢的問題。法國代表對於朝貢並不是很能接受，因為按照東亞的慣例朝貢就代表著成為屬國，英方從香港趕來的巴夏禮也持這種觀點，認為要求日本向中國朝貢有些不妥，不過他建議肯特還是先讓法國人發難，在日本的問題上法國人的負擔最輕，他們也最適合來把談判攪渾。巴夏禮根據自己以往的經驗確信要想真正的得到李富貴的就不能讓他保持一貫的超然姿態，否則根本無法抓住這個傢伙。
安籐信正一下子就抱住法國人的大腿，雖然勝海舟極力勸說幕府與李富貴結盟，但是這個讓天皇朝貢的條件實在是無法同意，所以在會談中安籐仍然在盡力的爭取。
「各位朋友覺得這一條不合適？其實我並沒有把日本算作中國屬國的意思，日本是大家的日本，當然不是中國一個的，」安籐信正聽到這話只感覺到一陣發寒，「不過我這次出兵必須要為我們的皇帝爭一點面子回去，如果大家覺得朝貢不太合適，也可以請孝明天皇到北京走一趟，就算是去賠罪，這我也能接受，如果這點面子都不給我那就實在說不過去了。」李富貴雙手環抱於胸前，擺出了自己的底線。
安籐信正最大的問題其實不是是否向中國臣服，實際上就這一點日本的各個階層早已達成了一致，那就是現在臣服於中國已經是不可避免的了。他所面臨的問題是天皇作為日本的神無法屈尊來給中國人長臉，所以他才藉著法國人在這裡頑抗。
看到其他人不再表示反對安籐只好硬著頭皮繼續辯駁，「這一點還請總督大人高抬貴手，天皇在這次排外風波中一點過失都沒有，他本人是非常反感攘夷派的，而且他還剛剛同意了把和宮親子內親王嫁給第十四代徵夷大將軍德川家茂，這都是在向攘夷派示威。大人現在的要求實在是在為難天皇了，日本歷史上天皇從來沒有出過國，這個條件實在是無法達到。」說到後來安籐信正幾乎可以算是苦苦哀求了。
據李富貴的情報，這個孝明天皇在攘夷這個問題上還真不是很乾淨，遠沒有安籐信正說得那麼無辜，不過自己如果在這裡指斥對手的話這個傢伙很可能為了證明自己的信用而剖腹，這是李富貴不願意看到的。對於魏人傑在種子島招待英國人看剖腹他就給與了很嚴厲的批評，在李富貴看來這種做法絕對屬於意氣用事，「和日本人你不能講態度，該怎麼樣就怎麼樣，千萬不要讓他們用幾個肚皮就把你糊弄過去。」李富貴回想到前世日本人挨了原子彈後擺出得那麼一幅委屈的模樣就有氣，兩聲核爆之後得到最大好處的就是日本，否則他們起碼要再死上兩百萬人，一億玉碎也不是不可能，撿了這麼大的便宜還賣乖，李富貴下決心不讓這種事情再次發生。
「事情總有第一次的，我以前也沒有出過國，現在不是也到日本來了嗎，大家覺得呢？」
對於李富貴堅持要孝明天皇到北京的態度巴夏禮感到了一絲擔心，他與李富貴的私交不錯，但是作為外交人員必須把所有人都當作潛在的對手，總的來說這次打擊日本李富貴沒有得到足夠的好處，根據巴夏禮以往對李富貴的認識這很有些反常，所以他對李富貴堅持的東西就格外的留神，突然皺眉思索的巴夏禮心頭一亮，他覺得自己摸清了李富貴行為的脈絡，「李富貴肯定是想把孝明天皇扣在北京，絕對沒錯，不一定要硬扣，借口總是有的，天皇本來就是一個象徵性的東西，扣留天皇並不會對日本的正常社會秩序造成影響，但是在心理層面的打擊將會非常大，那個時候日本人是不是臣屬又有什麼關係呢？那個時候他對日本的控制要遠遠大於一個空泛的臣屬，畢竟沒有哪個列強會把臣屬這頂帽子看得太重，這個李富貴真是狡猾啊，幸好他表現得太心急了一些，為了讓天皇到北京去而步步退讓，反常啊，要不然我還真看不出來。」
自以為抓住了李富貴的尾巴，巴夏禮趕忙和肯特一陣低聲私語。
「這麼陰險？你看我們能不能把孝明天皇弄到倫敦去？」肯特也看出這件事的蹊蹺。
巴夏禮搖了搖頭，「弄到那麼遠恐怕也就沒什麼作用了，畢竟在中國日本人還可以隨時覲見他們的天皇，倫敦一來一回半年都不夠，而且也不會有日本人經常到我們那裡去。」
「這樣啊，那就必須阻止李富貴了？」
「那是當然的，否則我們只得到一個薩摩，他卻把整個日本攥在手裡。」雖然巴夏禮對李富貴感到了那麼一絲抱歉，不過這與他對祖國的感情相比就算不上什麼。
「我也覺得讓天皇離開京都並不是一個很好的主意，對於日本人來說這個舉動很可能會激起他們的反感，我想我們沒有必要因為意氣之爭而激怒民間的情緒，或許我們可以換一種方式來滿足中國皇帝對於面子的需要。」英國一直沒有遏制李富貴的計劃，畢竟李富貴作為一個軍閥在大英帝國眼中仍然不能算是一個威脅，即便是霍普給與了富貴軍高度的評價。可是讓李富貴隨意奪取海外利益那就是另外一回事了，所以肯特在這件事情上沒有絲毫的猶豫。
雖然並不是像巴夏禮所想得那樣，但是李富貴的確很想把孝明天皇弄到中國去展覽一番，而肯特的表態無疑使得這個計劃面臨著夭折，他有些想不明白英國人為什麼在這件事情上突然變了卦，自己的退讓居然得到了這樣一個結果這讓他有些不舒服。「那公使先生有什麼建議嗎？」
「我看完全可以請天皇派一個代表團到北京去，我知道貴國皇帝對於外國使節的禮儀要求有些無理，這次就請這些日本使者滿足一下他的這種癖好，反正日本人也跪慣了，你看怎麼樣？」肯特看著安籐信正，等待著他的回答。
「沒有問題，下跪、磕頭或者三拜九叩我們都可以做。」日本的統治階級一直對國際形勢有一定的瞭解，尤其是涉及到滿清的，所以安籐信正十分清楚當年英國使臣與中國的種種不愉快。
這對於李富貴是一個退而求其次的方案，不過他並不想就此饒過孝明天皇，「如果天皇實在無法離開日本，這個方案倒也不是不能接受，但是天皇作為日本的最高統治者我仍然認為他有必要為此事道歉，如果他真的不方便出國的話，那麼我們可以在京都完成這件事情，這裡好像離京都並不遠，我就走一趟好了。」
安籐信正在這個問題上再也無法找到者了，連哈里斯都覺得李富貴的要求十分合理，「覲見天皇的程序非常複雜，可能會讓總督大人不耐煩的。」
「在中國，我可以劍履上殿，覲見皇帝的禮節並不能約束我，你也可以問一下這幾位如果我到歐洲去要覲見皇帝或者女王，他們會用什麼樣的規格來接待我。在這裡我們是勝利者，而我代表了大清帝國，我奉勸閣下不要用你們關起門來玩的把戲往我頭上套，如果以前都是這種規矩的話，那我告訴你這套規矩現在要改一改了。」李富貴因為連連受挫已經有些不耐煩了，他知道自己在什麼時候可以任性一下。
安籐信正被李富貴咄咄逼人的氣勢所壓倒，不敢繼續在這個問題上糾纏，畢竟他已經得到了很大的讓步，「我明白了，這件事情我盡快去辦，一定讓總督大人滿意。」
「我知道你們那些住在京都的公卿很不好說話，」李富貴又想起他以前玩過的遊戲，「如果他們喜歡砂糖或者蛋糕什麼的話我這裡倒有不少，我到了京都以後每人送它們一籮筐，不過如果他們真的不識相的話，這裡離京都不過百里，你讓他們自己看著辦。」
李富貴的話十分高深，安籐信正不是完全明白，不過其中威脅的意思他已經很清楚了。「我盡力去說服他們，請總督大人再多一點耐心，這事辦起來很快的。」
這個難題跨過去之後會談的焦點就在九州的割讓上了，這個時候英國同樣受到了大家的圍攻，李富貴坐在那裡不哼不哈，肯特知道他這是在鬧彆扭，不過他也沒有什麼別的辦法，這個時候孤軍奮戰與美法兩國討價還價，在割讓土地的大小、租界機構的組成上雙方都是據理力爭，最終變成了一場比拚耐力的艱苦鬥爭，安籐信正夾在其間苦苦哀告，一連三天都沒有談出一個結果。
李富貴在會場上的態度傾向於美、法，不過總的來說他對這種口水戰不是很上心，實際上他已經開始為他的京都之行做準備了，「聽說那是一座開滿櫻花的美麗城市，是不是這樣？」
「京都的櫻花雖然美麗，不過我們的大阪在這方面也不輸給它。」平瀨清治現在已經能夠使用簡單的中文了，不過李富貴制止了他在自己面前這麼做，這也是為平瀨好，要知道他這麼一個螻蟻在李富貴面前操這種日腔漢語說話是很危險的，如果一個詞用的不對很可能最後連自己是為什麼死得都不知道。「可惜現在已經是秋天，總督大人是看不到櫻花燦爛開放的美景了，如果大人覺得遺憾的話可以明年春天再來。」
「這個主意不錯，我總是聽人說什麼上野的櫻花，究竟在那裡？」
「上野的櫻花的確非常美，不過我敢說大阪和京都還要勝過它，如果大人能在賞櫻的季節到來就會看到紅、白兩色的櫻花有如烈火蔓延，漫山遍野的開遍。偶爾輕風吹過，灑下陣陣花雨。」平瀨清治微微閉起眼睛，陶醉的說道：「櫻花節上，滿樹掛起燈籠，遊人帶上草蓆、食物、美酒，坐在櫻花樹下歌唱玩樂，真是讓人流連忘返。」
李富貴點了點頭，在心中想道：「很令人神往啊，我是不是應該一把火把這些都燒了呢？看著這幫孫子自我陶醉的樣子真是讓人不爽，難怪征服者都那麼喜歡放火，看著被征服者過著幸福的生活的確缺少征服的快感。」轉念一想他還是決定把這件事先放一放，日本人個性誇張的毛病他是知道的，野豬都能拿來當作神靈來供起來，要是只是那麼幾株小樹自己還大張旗鼓的去燒豈不是惹人恥笑，「等我有機會看過了再說吧。」
「我剛才看了你們朝廷的一些資料，孝明天皇居然只有三十歲，很年輕嘛。」為了轉移自己的注意力李富貴問起了日本朝廷的情況，對於這個天皇李富貴有些疑惑，孝明的太子睦仁也只有十歲，無論怎麼看都不像是能夠領導明治維新的人物，「難道歷史上的明治維新要在十幾年甚至二十年後才開始嗎？一八九五年就是甲午戰爭，如果他們十五年後才開始明治維新那這幫孫子的動作還真是快啊。」雖然現在明治維新對李富貴來說已經是一個歷史名詞了，在他所處的這個世界將不會再有這個東西存在，但是對歷史的好奇心仍然讓李富貴不自覺的思考這個問題。「你對朝廷都有哪些瞭解呢？」
「這個嘛，我只是一個小商人，朝廷裡公卿的事情我又怎麼會知道。」
「沒意思，回頭你告訴那些商人，你們的幕府馬上會向商人籌措一筆賠償用的軍費，大概一千五百萬兩，讓他們全力配合，我需要很快見到現錢。」
「一千五百萬兩！」平瀨清治吃驚的叫起來。
「這個數字有什麼問題嗎？不要跟我哭窮，我知道你們有，那些諸侯們哪個不欠你們幾百萬兩銀子，幕府借個一千五百萬有算得了什麼？」
「大人您應該知道我的立場是站在大清國這一邊的，我並沒有替他們求情的意思，可是一千五百萬兩實在太多了，那些諸侯欠大阪商人銀子的確不假，但是那些都是好幾代慢慢積累起來的，再加上利滾利最終才達到了那麼大的數字，實際上這些爛賬已經很難收回來了，所以如果想一下子拿出這麼多來實在是很困難。」
「原來你們這裡也有三角債，不過我勸你們不要抱僥倖心理，你們應當知道大阪是我從幕府那裡拿到的抵押，如果幕府無法滿足我的要求，那麼我憤怒的後果將由大阪來承擔，這和你們是否馴服沒有關係，明白了沒有。」
「我明白了，我們將會像盡一切辦法籌集這筆銀子，絕對不能讓大人白白的促進清日友好。」
安籐再次來拜訪李富貴的時候五方會談已經接近尾聲，雖然仍然有些細節還在商討，不過大體上的條款都確定了下來。薩摩全境和周邊的幾處戰略要地都被劃入了租借的範圍，而租界管理委員會的人數比例上英國還是佔到了半數的名額，這是肯特在軍費分成上向李富貴作了一些讓步重新取得後得到的結果，英國人對這個結果還算滿意，而美、法也並沒有現在就與英國在這裡一較長短的意思，對於他們來說把自己的力量留在日本以便將來能夠名正言順的插手這裡也就夠了。而這個時候對於幕府來說尋找一個主子來追隨就顯得很重要了，法國、俄國和荷蘭當然不在考慮之列，剩下的英國是實力最強大的國家，美國對幕府最為友善，而李富貴則對日本沒有領土野心，雖然他的要求聽起來很苛刻，但是他畢竟給了日本希望。
「總督大人關於東亞一體、共同崛起的理論讓信正頓開茅塞，但是日本現在國內形勢惡化，我們自從黑船來臨之後每年流失的黃金、白銀都以百萬計，現在各地民怨沸騰，實際上維持自己已經非常困難，雖然很想幫助大人，但是我只害怕有心無力。」安籐信正之所以願意與李富貴結盟他最大的目的就是借助李富貴的力量來穩定幕府的統治，所以這個時候一上來就先把困難擺出來，看看能不能從李富貴這裡多要一些幫助。
「安籐君顯然有個地方弄錯了，日本並不是沒有糧食，也不是沒有錢，這不過糧食在商人的糧倉裡，黃金、白銀也堆放在商人的府庫裡，而你們的武士每天只能吃一些糟米飯，連佐餐的小魚都沒有一條，這樣的統治怎麼可能穩定，你應當去看看我的士兵每個月拿多少錢，他們吃的又是些什麼。」