早先，杜月笙決心離開上海，赴港避亂之前，曾經扶疾往訪黃老闆，力勸他的金榮哥預早為計，也跟他一樣，做避難香江的打算。
當時，黃老闆推心置腹，向杜月笙吐露自己不得而已的苦衷，黃金榮說「月笙，我老了，這些年來，我跟你的境遇不同，我是能不出門便不出門，能不動頂好不動。你算算，我今年已經８０歲，俗話說得好『人生七十古來稀』，我活到了８，就已經多活了年，今日死或者明日死，對我並無多大的關係。」黃金榮接下去娓娓細訴地說，自從他０歲那年正式宣告不問世事，安享餘年，他生活的目標就只剩下每天抽幾筒大煙，上一趟澡堂泡一個浴，湊幾位牌搭子碰幾副銅旗。除此三者以外，復無他求，也非有此三項享受而不歡。因此，他堆滿一臉苦笑訴與杜月笙「月笙，你替我想想，假使我去了香港，頭一樣，差館裡發現我抽大煙要捉。第二樣，你叫我到那裡去找碰銅旗的搭子？第三樣，香港沒有澡堂，能否容我這８０多歲的人每天去泡趟浴，都是問題。何況，樹高十丈，葉落歸根，我已風燭殘年，能有幾年好活？好歹我也死在家鄉。」杜月笙聽他金榮哥說得如此剴切透澈，心知其意已決，也就不再勸了，卻是辭出來時，突然感到這便是最後的訣別，他忍不住灑了兩行熱淚。到香港堅尼地８號定居，他第一次聽到金榮哥的消息，上海來人說得繪聲繪影，言之鑿鑿上海淪陷前夕，黃老闆惟恐炮火殃及，自曹河涇黃家花園遷居鈞培裡老宅，逐日泡浴、碰銅旗、吞雲吐霧如故。共產黨進了上海，起先倒還安然無事。但是數月以後，忽有一日，足有一百多人氣勢洶洶地直撲鈞培裡，圍在黃老闆公館大門口，大呼小叫，揚言要把黃老闆家中打得稀爛。這時候，黃老闆精神矍鑠，大踏步搶出門外，面對著那一百多攘臂擄袖、瘋狂暴跳的強徒，黃老闆拉開嗓門便是聲聲怒吼「我就是黃金榮，你們各位今朝來，阿是要把我黃金榮的家裡打爛！」多一半人被這白髮皤皤老者的虎虎生震懾，也有人雜在人群中喊「是的！今天一定要打爛黃家！」「好！」黃老闆斬釘截鐵地一答「要打爛，我自己來，現在我把大門關上，我自家來打給你們看！等會兒你們進來查，有一件東西沒打爛，你們儘管把我的房子拆了！」說完，他就命手底下人關大門，童顏鶴髮的黃老闆擄起衣袖，抄根門閂，就此要自己打爛自己的家。這時候，偏偏不知從何而來的『調解者』隔扇大門之外，好說歹勸，高聲排解「好啦，好啦，黃金榮已經知錯，看在他一大把年紀的份上，饒他一次！」緊接著，又有人來拍門，黃老闆氣喘咻咻的，親自把門打開，外面有幾個毛頭小伙子，張牙舞爪，指手畫腳，好生教訓了黃老闆一頓，一場毀家的糾紛方告有驚無險，化弭於無形，百把個窮凶極惡的人逐漸散去。黃老闆８０多年來從不曾受過這大的侮辱，回到客廳，氣呼呼地一坐，足有半晌說不出話，他老淚縱橫，徒呼負負，那幾個毛頭小伙子教訓了他些什麼，也是一個字也都不曾聽見。隔了不幾天，又有共產黨的幹部上門來，叫他「向人民大眾坦白」，黃老闆雙手一攤地問「叫我坦白啥麼事？」「你這一生的罪惡，」共產黨幹部字字著力地說，」「請你詳詳細細寫份自白書。」黃老闆有意反抗，但是家中各人苦苦勸他忍耐「人為刀俎，我為魚肉，反抗是沒有用處的。」迫於無奈，他請位朋友寫了厚厚一疊的自白書呈上去，從此以後便坐立不安，提心吊膽地等候判決，其結果，是共產黨派人來抄家，妙的是毛病還並不出在黃金榮的自白書上。黃老闆的二公子黃源燾有一枝自備手槍，又跟一位姓戚的諜報人員很要好，上海撤退，姓戚的有一大捆步槍存放在黃源燾住處。這件事黃老闆確實並不知情。「倘若是在黃老闆當權得勢的那些年，鈞培裡黃公館，長短槍枝經常也有個五七十桿，這一大捆步槍，實在無啥稀奇。」杜月笙接口說。來人接著說「不過共產黨來了，情形不大相同。因此當從黃公子的那一枝手槍抄到了一大捆步槍時，連經過多少驚風駭浪大場面的黃老闆，居然也給嚇得目瞪口呆，面如死灰。「當時，共產黨僅只把槍枝沒收，黃源燾則被帶了去問話，共產黨對他倒也並不為難，招出來槍枝來源就此作罷。然而，正當祖、叔、孫三代，黃老闆、黃源燾和黃啟予之弟黃啟明衷心慶幸，逃過一場大禍，又數日，來了一份通知，黃金榮的自白書看過了，人民認為他有罪，所給他的處罰是每天早晨到黃老闆自家開的大世界遊樂場門口掃街。」「處在矮簷下，不得不低頭，老態龍鍾的黃老闆開始在大馬路大世界門口手執長帚掃街了。消息傳出當日，也不知有多少人驟集街頭，黃老闆則面部毫無表情，一步一步地在掃地，矮胖身軀，彷彿一具笨重的機械。許多記者來採訪，來拍照，許多幹部圍在黃老闆的四周。這張黃老闆在大世界掃街的照片，刊登在上海各報顯著地位。」杜月笙一聽，馬上忽然問起管家萬墨林「上海報紙為何多日不見？」