黃金榮自露蘭春事件以後，已決定歸隱退休，不再過問外面的事務。
因為在「三大亨」中，他是有資格享享晚福的。在上海灘上，他擁有規模龐大的娛樂事業，好幾十幢街堂房子，光是收收房租，一個月也有萬把塊的收入。在漕河涇鄉間，他又造了一幢佔地０餘畝、斥資２００萬元的頤養之地黃家花園。這座私人別墅是上海的名園勝跡之一。園中水木清華，祟園奢麗，正廳名為「四教」，鐫有蔣介石總司令頒題「文行忠信」四個大字，假山石筍，都是花了大價錢遠自北平和西湖運來。這時，他又有一項鮮為人知的秘密，即又跟一個女人同居了。由於子孫長大了，以前的床頭人別人都知道，因此他只好瞞住家裡人，在新城隍廟附近租了小房子住。０歲的黃金榮只剩下一位近親的長輩姑老太太。林桂生與他離婚，露蘭春也跑了，姑老太太時常勸他再討一個。黃老闆給逼急了，只好笑嘻嘻地承認「已經有啦！有啦！」秘密洩露，小輩們尋了去，才知這原來是上海丈量局局長曾紹棠曾伯伯的下堂妾，跟林桂生也是要好朋友。她抽鴉片煙，喜歡白相，離了曾局長後便和黃金榮同居，黃家小輩因為她住在漕西，喊她西海好婆，杜月笙稱她「西海太太」。黃金榮很想把這位新歡也帶進黃家花園，就此關上大門，宴宴然做他的富家翁。然而，４月２日的清共這一仗，把黃金榮已銷沉的壯志又復激發，他心知這次功勞建得不小，而國民黨的要員之中有不少是他的舊交，因此事後蔣介石論功行賞，特別授他以三等勳章。於是，他把蔣介石發的勳章和法國領事發給他的少校的獎狀，一齊掛在客廳裡面。同時，杜、張、楊、陳四位老把弟，不時金榮哥長，金榮哥短的奉承幾句，使得黃金榮更是覺得當前的這個大環境真是交好運的時候，只要他動動腦筋，撥撥嘴唇皮，大可以重振往昔的聲威，再建自己的勢力。於是，「四·一二」清黨政變之後，蔣介石的軍隊進駐上海之初，黃金榮振作精神，多方聯繫，一心一意準備東山再起。隨後，杜月笙的心腹大將芮慶榮當了行動大隊長，黃金榮的左右手徐福生立刻跟進，出任淞滬警備司令部的諜報處長。黃、杜二門，各有其人，掌握了擁有上海灘上生殺予奪大權的兩項重要的職位。雖然，黃金榮老謀深算，機智深沉，有了東山再起的想法，但他並沒有馬上行動，而是憑他豐富的閱歷、犀利的目光，冷眼觀察國民黨派到上海來的各級幹部，以及國民政府經常往返京滬的中樞人物。他不久便看出，他最接近的楊虎、陳群，不但不能作為「新派人物」的代表，而且他們終將泥菩薩過江，自身難保，因為在絕大多數的國民黨人中，已經湧起了對他們深表不滿的暗潮。隨後，他又發現像陳果夫、陳立夫兄弟是官職比楊虎、陳群高，地位比他們更重要的國民黨大員，人人工作緊張，生活刻苦。不久他又聽說某要人為太太買了一雙絲襪，竟然在國府紀念周上挨了罵，更有某紅人買進一幢洋房，始終不敢搬進去住，種種傳聞，甚囂塵上，這足以證明蔣介石不同於舊官場，於是黃金榮舉一反三，見微知著，方激起的雄心壯志立即冰消瓦解，煙騰雲散。因此，他表面上聲色不動，暗地裡已在準備打退堂鼓。接著下來，又發生了兩件事，促成了他從大上海的新戰場上提前退卻。首先是他和一位年輕有為、幹勁十足的國民黨官員交過一次手，其次是露蘭春的新任夫君薛二突然被捉。一天，黃金榮聽說上海市政府要檢查各戲院演出的戲劇，這使他大為光火，他振振有詞，斷然地加以拒絕「租界上的事，市政府管不著！」市政府派一位秘書耿嘉基來向他說明，耿是市政府與租界大亨間的橋樑，專負雙方聯繫協調之責。照說黃老闆應該對他客氣一點，但是，黃金榮曉得耿嘉基每個月要吃杜月笙０００元的俸祿，他三言兩語把他打發出去。過了幾天，耿嘉基寫了信來，介紹一位主管戲劇檢查的年青朋友，專誠拜訪黃老闆。黃老闆不會想到市政府的小朋友也這麼難弄，接見了，很費了些唇舌，解釋清楚自己的難處，然後端茶送客。這時，他所持的理由是租界上無法奉行市政府的命令，然而隔不多久，法國駐滬總領事、兼法租界公董局總董范爾諦忽然把黃少校請了去，婉轉地勸他「中國人開設的戲院，何妨接受中國官員的檢查？」一聽之下，黃金榮瞠目結舌，無詞以對，他只好答應照辦。第二件事出得更妙，原來露蘭春和薛二雙宿雙飛，恩恩愛愛，小孩子一個個的生下來，露蘭春洗去花心，深居簡出，一心一意相夫教子，薛二家裡有錢，大少爺常年游手好閒，除了在家吃吃鴉片煙，閒極無聊，有時候也難免跑跑賭場，輸贏不計，只是消遣消遣。那一天在江灣跑馬廳，薛二正雜在人堆裡看賽馬，突然有兩條大漢擠過來，一左一右，伸手把他一挾，硬梆梆的槍口抵住了肋條骨，接著是低聲地叱喝「不要喊！跟我們走！」於是，薛二被捕。薛二是個錦衣玉食、享慣了福的大少爺，被兩條大漢從人叢裡抓出來，塞進了汽車，一路驅車直疾駛，還沒有駛到楓林橋「清黨委員會」，又驚又怕，鴉片煙癮發作，他已經眼淚鼻涕直流，呵欠打得閉不攏口，兩名行動員見他一身軟得像泥，兩腳下不了地，只好把他連拖帶拉，半抬半掖，不經過盤問就先關進監獄。