板西一連拜訪杜月笙好幾次，利用他在日本軍部的崇高地位和顯赫聲勢，他當面對杜月笙等許諾一旦皇軍完成佔領上海，他將給予杜月笙許多重大的政治、經濟利益。
杜月笙起先和板西利八郎虛與委蛇，凡事避免正面答覆，漸漸的，杜月笙的太極拳越打越不著邊際，於是板西一怒而去。利誘失敗，再繼之以威迫，緊接著板西不斷登門拜訪的是換穿便裝、相貌堂堂的土肥原賢二。這個日本侵華的急先鋒，心黑手辣，殺人如麻，他是日本特務的開山祖師，從東北而熱河，而冀察———天津，豐台、冀東和香河，凡是他所到的地方，要不了多久必有重大災禍。在華北一帶，土肥原這個名字，大有止小兒夜啼之威。土肥原綽號亞洲的勞倫斯，他當過日本駐東北特務機關長、第５師團旅團長，９３７年７月中日之戰爆發，他高昇為日本大本營特務部長，軍階是中將，土肥原中將隨著滬戰南下，他鑒於板西利八郎的軟功失敗，因而在杜月笙面前唱起大花臉腳色來。土肥原一進門，開頭便指出杜月笙沒有離開上海的可能，他聲勢洶洶地說「即有可能他也斷然不會允許，他將竭盡一切努力，截斷杜月笙離開上海的出路，打消他遠行的企圖，因此，他指出杜先生你既已失去離開上海的一切希望，你就應該徹底而充分地和皇軍合作。」除此以外，土肥原還氣勢洶洶，嚴詞指責杜月笙不該出錢出力，奔走呼號，並且如此熱心誠懇、廢寢忘食的支援國民政府，鼓勵國軍與皇軍對敵，造成皇軍的重大傷亡。他極力威脅地說「如果杜先生不肯為皇軍效力，我們要列舉你對皇軍的敵意行為，然後施以膺懲。」面對著如此強橫霸道，無理可喻的土肥原，杜月笙怒火中燒卻又拿他無可奈何。杜月笙住在法租界，土肥原有權揚長來去，旁若無人；並且，他是日本大本營的特務部長，詭譎狡獪，神鬼莫測，杜月笙明明知道土肥原必然有備，斷乎不容杜月笙命人將他抓下殺了。杜月笙為了抗日人士聯絡方便，這時一度在辣斐德路辣斐坊號姚玉蘭夫人的香閨裡見客。土肥原拜訪杜月笙大放厥詞的第二天下午，杜月笙正跟弟子徐懋棠促膝密談，軋軋的飛機聲，一陣陣地吵擾了他們的談話。正感到煩躁，姚玉蘭一腳踏進客廳來，清脆悅耳地京片子，卻是在說「今兒個可怪啦，這架飛機怎麼直在咱們的頭頂上轉呀！」一句話，驀地兜起杜月笙的一樁心事，眉頭一皺，側耳細聽———越聽越不對了，杜月笙虎地跳了起來，奪門而出，到了天井裡面，他以手遮陽，仰起了臉，朝天空眺望，可不是有一架東洋軍機塗漆著紅色膏藥在辣斐坊杜公館的附近，繞過來又兜過去，僅在頂空低飛盤回。杜月笙驟然臉色都變，莫不是土肥原的大言炎炎，真要兌現？大事不好，杜月笙滿面驚慌，憂心忡忡，折轉身又匆匆地跑回客廳，往沙發上沉沉一坐，他兩眼發直，誰也不理，定定時坐在椅上出神。徐懋棠剛聽說了土肥原口出狂言，出言威脅；此刻便就明白，杜月笙為什麼會突然之間，跑到天井裡去看飛機，而且看過以後立即神色大變。於是，這時他便低聲地喊「先生，先生！」「嗯？」杜月笙像是猛地被他驚醒，眼睛望著徐懋棠，茫然地問「啥事體？」「先生，土肥原無非是逞逞威風，」徐懋棠忙道，「表示他能調動得了飛機，飛到這裡來兜幾個圈子，用意是嚇嚇我們。」姚玉蘭插嘴說道「說不定他們也真的來偵察什麼的，自從閘北江灣開了仗，咱們這兒，大門口天天車水馬龍，達官要人，出出進進。」杜月笙依然不置一詞，只是望了姚玉蘭一下，做個無言的苦笑。客廳裡靜了些時，飛機還在盤旋不去，三個人都在深思長考，默不做聲。終於，徐懋棠靈機一動，雙手一拍，歡聲地喊了起來「先生，我有個對付他們的好辦法！」杜月笙望著他說「你且說來聽聽看。」「先生，最近我在浦石路買了一幢公寓，８層樓的洋房。地點適中，房子也很講究。先生跟太太何不搬到那邊去住，一來避人耳目，二來８層樓公寓房子，先生住在中間，日本飛機即使再來，也是什麼情形都看不出來的呀。」杜月笙一想，這個主意確實不錯，問聲姚玉蘭，她說毫無意見，於是一聲決定，說搬就搬，姚玉蘭就從辣斐穗路搬到捕石路，住進８層樓的公寓大廈，時間一久，上海人便改口稱她為「８層樓太太」。