三桩消遣赌书与唱
杜月笙在香港想尽方法，要把他的二小姐救出来，但是共产党正一心一意骗杜月笙回海，杜月笙的子女多一个在共区，就他们来说正好是威胁杜月笙的人质，因此他们决不肯轻易应允，绑票勒赎原是共产党的一贯伎俩，他们怎肯放过这个好题目？起先杜月笙命他的次婿金元吉，写信到上海请杜美霞出来，共产党那边拒绝发给路条，然后，一再函电交驰，依然石沉大海杳无消息，最后则以杜月笙病危为词，拍发急电，方始将杜二小姐，救出了虎口。多一半是因为在那个时候，杜月笙的长子杜维藩也在万般无奈的情况下进上海去了。
同时杜月笙的二楼太太陈氏夫人，在杜月笙赴港之先，曾经到过一次台湾，颇想在台定居，杜月笙到香港，她也由台抵港打了一转，夫妻间话不投机，陈氏夫人便和维翰、维宁回了上海，而这趟回去，竟因而被陷，始终不得出来。
明乎此，则可获知坚决反共，认清共党本质如杜月笙者，为什么在三十八、九年之交，还不敢与共产党公开破脸，反目相向，有亲生骨肉落入共党的掌握，虚与委蛇，相互鬪法，全是衷心非愿，迫不获已之举。
在这一段时期，杜公馆坚尼地台人客虽少，饭厅里仍然每天中午准备两桌饭。一张圆枱面一张四方桌，通常那张圆枱面必定坐得满，圆怡面坐不下了，再开方桌一席
经常来杜公馆吃中饭的，除了杜月笙的儿子媳妇女儿，女婿、顾嘉棠、金廷荪、王新衡、骆清华、沈楚宝等诸人之外，还有杜月笙的表弟朱文德，总管万墨林，这两位在香港经常不离杜月笙左右的哼哈二将，朱、万二人为了往来方便，都在坚尼地台租了房子，而且和杜公馆近在密迩，等于隔壁。朱文德一家住在坚尼地台十号，万墨林一家住六号
喘不发，脚不麻，精神好，体力够，杜月笙随意思之所至，在香港有三桩消遣，其一是赌，其二是书，而其三是为唱。
赌，不仅规模缩小，而且输赢数目，亦无复当年的豪情胜概，由于精神体力之所限，杜月笙晚年居港，只能玩玩十三账罗宋牌九，为了凑兴，勉强陪他顽顽的，有当年的豪赌朋友朱如山、徐士浩、盛家老五盛泮澄、吴家元、张公权的令妹张嘉蕊。为什么祗打罗宋牌九？说穿了便是由于打罗宋可以少用脑筋，坐看不动，而且时间不长，随时都能结束。输赢虽不能与当年相比，但是一场进出也有个港币好几千。卽使打这种费力不多的牌，有时候杜月笙还会感到精神体力难以为继，于是喊杜美霞来代他接下去。
「书」则为杜月笙的另一嗜好，听说书。「说书」这一行业在香港始终不能生根，要找一位说书先生可谓相当的困难，好在当时有一些「说书先生」也从上海逃难到了香港，杜月笙选了其中的四位：张建国、张建亭兄弟，蒋月泉和王伯英，他请这四位「说书先生」轮流的到坚尼地台杜公馆，每天一位，分别为他开讲「玉蜻蜓」、
「双珠凤」、
「英烈传」、
「水浒传」等等着名的说部。「听书」成了杜月笙的日课之一，他用听说书来消磨时间，尤其聚精会神听书时，可以使他暂时忘却身上的病痛与苦楚。
不过在当时的杜公馆，姚玉兰、孟小冬以次，没有一个人具有杜月笙这个共同的嗜好，因此，当他一榻横陈，瞑目倾听「说书」时，往往房间里只有他一个人，充其量多上服侍他的徐道生，有时候万墨林、朱文德也来陪他听上一段。
「唱」的场面比较热闹，曾有人谓「天下之歌，尽入杜门」，杜月笙自己身畔便有姚玉兰、孟小冬两位床头人，允称须生泰斗与冬皇，再则由于杜月笙一生酷嗜皮黄，他身边的人几乎个个都能哼几句，而且其中不乏佼佼者。坚尼地台杜公馆每星期五必有清唱小聚，旅居香港的名票名伶，因为杜公馆有冬皇孟小冬在，莫不以一履斯境为无上之向望，莫大之荣幸，但是杜公馆的雅集祇限于至亲好友，故属门生，经常必到的有赵培鑫、吴必彰、钱培荣、杜维藩、杜维屏、朱文熊、万墨林等人，马连良抵港以后，几乎每日必去杜公馆，他到时雅集又添一份热闹。王新衡祇要有空，会与致勃勃的前往参加，他跟着大家称孟小冬为「孟老师」。
共党统战无微不至
杜月笙方抵香港不久，共产党的统战份子，立刻对他展开了包围攻势，共产党亟欲争取杜月笙，使他重回黄浦滩，除开他个人的声望及号召力量，足可为共党利用一段时期，还有一层最重要的原因厥为当时上海金融领袖、工商巨子，莫不纷纷跟着杜月笙转移，他们挟巨资而抵香港，使得共产党在上海及其附近刼夺来的银行、工厂、公司、商号，在房地、机器、生财、家俱之外，就剩了一个空壳，旣乏富有经验的主持人，又失去了可供周转的资金。因此之故，共党在港统战工作人员千方百计，不惜威胁利诱，乃至于甜言蜜语，巧言令色一心一意促使那些金融工商巨子「回上海去。
但是上海的金融工商巨子，向以杜月笙马首是瞻，言听计从，在共党统战份子的花言巧语，阴谋诡计之余，当然也有一部份人意志动摇，心存观望。一般来说，当时旅港金融工商界人约可分为三种，上焉者认清中共面目，抱定决心在自由地区另创事业或者静观待变。中焉者模棱两可，迟疑不决，却是无疑已被中共统战份子打动，他们热烈的希望杜月笙能带着他们回上海，下焉者惑于中共的钓饵，决意吞它下去，不过仍存一线之望，最好是杜月笙也回黄浦滩。
便在这群小包围，长日纠缠骚扰的时期，杜月笙的好朋友，上海金融工商巨头如王晓籁、刘鸿生、吴蕴初……等人，均已中了中共的奸计，打定主意向左转。在这几个人里面，刘鸿生、吴蕴初、等自己拥有实力，他们属于「中焉者」，如王晓籁则多年以来一直靠牢了杜月笙，除了杜月笙做他的靠山，不论有贝之「财」或无贝之「才」，他竟一无所有，因此王晓籁是离不开杜月笙的。他听信了共产党的煽惑，想以前进份子，「民族资本家」的恣态，重回黄浦滩，当然他就非得拖牢杜月笙同走不可，于是，王晓籁是为「下焉者」。
有很长的一段时光，这般有心靠拢者排日出入杜月笙之门，纠缠不放，拚命的劝，逼牢杜月笙跟他们同走这一遭。王晓簌和刘鸿生两个更是无日或休，几至劝得舌蔽唇焦，声泪俱下。不过，杜月笙始终立定脚跟，屹然不为其所动。
然而，忽有一日，台北一家素具权威的报纸，注销了一篇各方重视，轰动一时的社在这篇社论中，出现了两个新名词，所谓「政治垃圾」与「经济蝗虫」。中共统战份子如王哓籁、刘鸿生之流认为这是一个劝杜月笙「回上海」的好题目，他们拿了报纸轮番去见杜月笙，不惜添枝作叶，加油加酱，告诉杜月笙说，社论中所指的暗中操枞上海金融、物资的经济蝗虫，不正是暗指你杜月笙吗？台湾报纸差一点就要对你提名道姓了，尤其是那篇社论的结论，旨在「绝不容许政治垃圾、经济蝗虫」到台湾复兴根据地去掀风作浪，重施故技。在这种情形之下，你杜月笙难道还有到台湾去的可能？还不如「光光采采」的跟我们回大陆吧。
竭力挑拨离间的人越来越多，而且都是异口同声，众人一词，杜月笙剪下这篇社论来，叫他的秘书边读边为讲解，社论的措词难免过火，将「罪状」与「实际」对证，杜月笙三个字彷佛也是「呼之欲出」，于是杜月笙不由不大受刺激，他小心翼翼，将那张剪报折好，放在自己的马甲袋里。
汪宝瑄专程赶得来
民国三十八年九月间，香港坚尼地台杜公馆又有一位常客常川进出，那是曾经身为和谈五代表之一，被代总统李宗仁派到北平去跟毛泽东与虎谋皮的章士钊。章士钊随同和谈代表团在三十八年四月一日飞北平，谈判二十八天不得要领，四月二十八日起便被毛泽东扣留，历时四月有余，他又衔毛泽东之命到香港，显然负有共党赋予的任务，并且受到共党的监视。
一日，杜月笙正在客室和章士钊扃室长谈，自广州来了一位好朋友，江苏省党部主任委员，兼为立法委员的汪宝瑄。
杜月笙听说汪宝瑄到访，非常高兴，他当时便请章士钊到另外一间房里小坐稍候，一面起身迎迓汪宝瑄。汪宝瑄和章士钊打了个照面，他又看到杜月笙面容清癯，神情憔悴，但是一见汪宝瑄之下，情绪显得相当的激动。杜月笙一伸手，从自己的中式马甲口袋里，掏出一份剪报，他摇头、叹息、苦笑，把那份剪报一直递到汪宝瑄的手上。
汪宝瑄一看，便知道是当时引起轩然大波的台北某报一篇社论中用上了「垃圾、蝗虫二词，斥责许多不甘与共党同流合污的投奔自由者，言下之意彷佛这般人还想到台湾来鸟烟瘴气搞垮台湾这一处反共的圣地，因此讥诮这般人为「垃圾、蝗虫」。
富时，汪宝瑄向杜月笙一笑，他开门见山的告诉杜月笙说
「杜先生，我正是为这件事到香港来，专程拜访你的。」
激动之余，不克自已，杜月笙极其罕见的向汪宝瑄发了一顿牢骚。他说他并非国民党员，而抗战、戡乱，一连两次为国民党牺牲一切毅然赴港，用心无非是免为国民党的敌人所用，他这么做，完全是本诸良心，尽其在我。旣不求功，也并不是为了争取表现，在这种倩形之下台湾还有人认为他是「政治垃圾、泾济蝗虫」，讥诮讽剌，不留遗地，实在是令人伤心。
汪宝瑄立卽向杜月笙表明来意，他说：刻在广州因要公稽留的洪兰友，正是奉当局之命，便道赴港对杜月笙加以安慰，并且有所解释。汪宝瑄告诉杜月笙，洪兰友为这件事，心中也很难过，始终不得安心。洪兰友托汪宝瑄转告杜月笙台湾的近况，总统犹未复职，一切难免显得紊乱，某报的这篇社论，大有亲痛仇快之概，令人一见而知撰稿人旣幼稚且有偏见，因此，当局目前已在着手整顿。
眼见杜月笙的情绪渐次平复，汪宝瑄又说：
「当局还有一封亲笔函，将由洪兰公面交杜先生，信上所说的，和我刚才讲的意思差不多。」
顿了一顿，杜月笙方始语重心长的回答：
「宝瑄兄，你回台湾以后，务必请你代我杜某人转告台湾方面那许多党政负责朋友，我杜月笙是白相人出身，我不是国民党员，同时我也不懂三民主义，五权宪法。但是自从民国十六年起我追随国民党，往后的抗日、戡乱，甚至于将来反攻大陆，我一定还是跟着国民党走，这不但是因为我杜月笙，一生不做半吊子的事，而且，我还有我一层最简单的道理老实不客气说，现在跟国民党的人未见得满意，不过我们大家应该明白这一点，跟国民党纵使没有干饭吃，最低限度也有口稀饭喝，倘使去跟共产党呀，」他突然提高声浪，极其轻蔑的说：「我敢于说将来连屎都没有得吃！」
汪宝瑄不但甚以为然，尤且衷心感佩，因为他想，当许多国民党一力培育、造就、栽培的高级干部，都在纷纷变节投共的大混乱时期，对于杜月笙这重忠贞不二，献替良多的党外人士，何能苛求？可是杜月笙对自己的进退出处大义凛然，晚节不亏，卽令在当时斯境，杜
月笙为国民党的作为，与其对国家的贡献，助力之多，尚且超过若干国民党高级干部，以此，他认为杜月笙的忠党爱国，反使国民党干部有所惕励。
接下来，杜月笙又说：
「宝瑄兄，这就是我的心意。无论如何，我还哓得个好歹香臭，故所以，我决不会跟共产党走。杜月笙一生一世凡事都要做到言话一句那能这么一件大事反倒会得破例？总而言之一句话，我杜月笙跟国民党算是跟定了，随便怎样也不会回头」
汪宝瑄颇表感奋，紧接着他便和杜月笙谈起共党竭力争取金融工商界领袖人物回返大陆的问题，共产党对这一帮人威胁利诱，无所不用其极。汪宝瑄不惜指明了说：撤离大陆的金融工商巨子多一半集中在香港，他们所携出的祇是少数的资金，绝大部份资产仍还留在大陆，这便是共党可资利用的钓饵，他很为他们的未来动向担心，唯恐他们自投罗网，落于陷阱，却是他又强调的说：
据我所晓得的，这么些跟杜先生有关的金融工商界人士，他们留在香港进退维谷、左右两难，其实，他们都是在看杜先生的风色。」
「我的风向早已定了，」杜月笙一语破的，片言决疑，然后他又说：倒是最近王晓籁和刘鸿生居然悄悄的回到上海去，使我心里非常难过。
汪宝瑄所负的使命圆满达成，他很高兴，卽午，杜月笙邀汪宝瑄在坚尼地台午餐，为他洗麈老，同席的有王新衡和宣铁吾，老友聚晤，倍感欢快，席间杜月笙听说汪宝瑄翌日卽将返台，他殷切留客，命杨管北替他退票，留汪宝瑄在香港多住三天，以资盘桓。盛情难却，汪宝瑄祇好答应了。
章士钊泡坚尼地台
统战份子劝诱无功，陈毅的「笑靥迎人」又被杜月笙视若无覩，置之不理，共产党亟需杜月笙重返上海，为他们竭泽而渔，遂行勒索。于是，他们方始又施一计，派出杜月笙的一位老友，被李宗仁任为和谈五代表之一，到北京后先则被扣，继卽叛降毛泽东的章士钊，毛泽东叫章士钊专程跑一趟香港，为朱毛红朝尽量争取可资利用的人物，其中最重要的一位厥为杜月笙。
章士钊，「衔命而来」，力图「立功、报効」，他深知毛泽东心目中主要目标何在，因此集中全力，先「解决」杜月笙的问题。到香港后，他便不时出入坚尼地台杜公馆，登堂入室，有时直趋病榻之侧，和杜月笙接席密谈，他鼓其如簧之舌，搧动诱惑，兼而有之，他分析天下大势，国际动向，尤其对他的敝同乡后辈毛泽东，「歌功颂德」，捧得来肉麻之至。
第一次长谈，杜、章之间，便有一段颇为精采的对话，约略如下
当章士钊滔滔不绝，盛赞毛泽东是如何的尊老敬贤，求才若渴时，杜月笙很巧妙的接过他的话来，用非常关怀的口脗问起章士钊：
「章先生是决定在北平定居了，是?？」
怔了一怔，章士钊方答：
「是的。」
「章先生是否照旧挂牌做律师？」
「这个──」顿歇，章士钊祇好老老实实的回答：「诚然，共产党统治下是用不着律师的，我不能再挂牌，不过……」
这一次，杜川笙接口很快，他不等章士钊把话说完，便问：
「章先生旣然不能再做律师，那么，你有什么计划？是否想改行做做生意？」
「做生意嘛，祇怕共产制度也不容许，」章士钊被杜月笙逼得太紧，唯有直话直说，坦然吐露，却是接下去他又指手画脚，洋洋得意的吹起牛来：
「不过，毛『主席』当面告诉过我，我在大陆，一切有他负责。有了『毛主席』的这一句话，个人的生活种种，那还用得着躭心么？」
于是，杜月笙像在自言自语，他一迭的说是：「啊啊，祇是生活不用担心，祇是生活不用担心。」
章士钊听后，顿卽面红耳热，嗫嗫嚅嚅的支吾了几句，第一次长谈，自此草草结束。
等到章士钊告辞离去，姚、孟二氏，儿子女儿，还有亲信诸人，都在等候「消息」，杜月笙坐久了，有点累乏，可是他仍然说出了两人之间所谈的这最要紧一段然后他摇头苦笑的说：
「章先生年纪一大把，做官的兴致高极！祇要有官做，他跟谁都可以，但是他投了共产党毛泽东，却祇说是保障他的生活。旣然祇为了生活的话，台湾、香港、美国……随便那一个地方，也要比共产党那边的日子舒服得多。」
晚间，休息过来，精神回复，杜月笙又提起了章士钊的两件往事，抗战八年，杜月笙怕章士钊落水当汉奸，始终把他拉牢了同在一起，章士钊夫妇曾与杜家合住香港、同游西北，尤曾同住南岸重庆，一应生活开销都由杜月笙负责，谈到了这一件事，杜月笙嗬嗬一笑说：
「负责生活，毛泽东不过给了他一句言话，我杜某人倒是眞负实过不少年啦」
被杜月笙尊如上宾，在大后方流连诗酒，啸傲烟霞的章士钊是否能够满足呢？杜月笙打了个哈哈说道：
「当时，章先生一心一意想当司法行政部长当不上，就一天到晚发牢骚，我祇差不曾老实告诉他了，中央决不可能请他当这个官的。」
接着他又说，章士钊宿愿未偿，官瘾难熬，便在胜利前夕，政治协商会议筹开时期，趁组党之热，臻及高潮，他看中了杜月笙声望如日中天，尤其「恒社」人才济济，「恒社」社员对杜月笙忠心耿耿，遇事争先，因此便想利用「恒社」组织为基础，筹组新党，奉杜月笙为党魁，而由章士钊幕后操纵运用。杜月笙吃他逼不过，乃假恒社社员张裕良的「良厦」，召开恒社社员会议，表面上说是付诸公决，实际则章士钊方一开口建议拥护杜月笙组织新党造福邦家。杜月笙立卽声明，他祇知道拥护最高领袖，有领袖在，国家便有希望，所以用不着我们来搅什么「新党」。同时他更表明自己的一贯主张，当抗战初起，上海抗日后援会成立之日，陶百川、吴开先、潘公展、童行白四位朋友首先喊出口号：─「在一个组织：国民党，一个主义；三民主义，一个领袖：蒋委员长的领导之下，全民抗战，争取最后胜利！」杜月笙重提往事，他说他是公开赞同此一口号的第一人，在上海抗日后援会成立大会席上他卽已大声疾呼的喊过。
杜月笙斯语一出，使章士钊大为尶尬，下不了台，但他「雄心」未死，仍然在讲台上喋喋不休，力陈他的组党「发展抱负说」，这时候，也有恒社社员揷进来发一段言人人支持老夫子的定见。最后，则由杜月笙作一结论：「章先生一定要组党，我杜某人决计第一个参加，奉章先生为党魁，至于恒社同人参不参加，任凭自决！」一出组党趣剧，遂在章士钊吹胡子瞪眼之下，宣告收场。
讲过了这两件往事，在一旁凝神倾听的妻子儿女，心里都有了数目，照杜月笙的看法，章士钊投共后自顾尚且不暇，他本身的欲壑始终不得填一填，又怎能说服坚决反共，认清共党本质的杜月笙？
然而章士钊「毛」命在身，他不能死心也无法死心，坚尼地台还得三日两头的来，有时候就在杜公馆吃中饭，满座嘉宾，杜门中人同席用餐，说说笑笑，情景依稀当年，却是许多熟朋友间已有相当的距离，场面也显得尶尬来兮。
劝人的反被人劝去
章士钊骑虎难下，他要不断的往杜公馆跑，就无法避免和国民党的要人劈面相逢，相逢时更免不了有窘迫的场面出现，国民党的朋友们理直气壮，大义凛然，章士钊于是为之几度吃瘪。
头一回是碰到多年交好的老朋友吴开先，晚饭过后，杜月笙邀章士钊、吴开先一同到台上歇凉，看香江夜景，任轻风拂面。当时，章士钊有点倚老卖老，忍不住的重弹旧调，尽在为坏事做尽的共产党说好话，称夸毛泽东何等的礼贤下士，奖掖人才，他口口声声的作保证，祇要杜月笙肯回大陆去，不论在何种情形之下，共产党绝对不会亏待杜月笙。
吴开先在一旁听得忍无可忍，他一声冷笑，亦庄亦谐的加以驳斥
「章先生，你在骗什么人呢？我从民国十六年清党之役算起，跟共产党交手了二十多年，共产党的眞面目，难道我还不认得？老实不客气说，就讲有关共产党理论的书籍，祇怕我也要比章先生多看两本。共产党的那一套，三岁小儿都骗不到。」
章士钊窘透，当下强词辩解的说：
「你这种说法，可拿得出事实，证据？」
「事实、证据太多了，」吴开先侃侃然的答道：「共产党对他们党外的人客气，根本不必相信，试看他们自己的『元老』、『领袖』，如陈独秀、张国焘、瞿秋白，不是一个个的被他们自己人斗倒下去了吗？共产党对于他们自家大好佬、大功臣尚且不能容忍，又何况不跟他们同路的党外人士？」
为之语塞，章士钊格格不吐，于是，吴开先打个哈哈，再调侃的追问：
「章先生，此地此刻祇有你、我和杜先生。章先生你的这一套，究竟要骗我呢，还是要骗杜先生？」
趁此机会，杜月笙哈哈一笑，替章士钊暂时解围，同时也显示了自己决不会轻易上当的决心。
不断纠缠，常时登门，章士钊的这场牛皮糖攻势，要到几时方休呢？杜月笙不耐烦时，自有他的退兵之计。多一半也是出乎一片爱顾老友的诚意一部份则在于早日结束这一场无结果的冷战。渐渐的，在跟章土钊谈论之间，杜月笙开始反转来劝章士钊弃暗投明，还我自由之身。他劝章士钊到台湾，或者远走高飞，保全晚节，他苦口婆心的说：
「最好早早脱离，图个清吉平安。」
杜月笙不曾留章士钊蹲在香港勿走，那是因为他早已获知，毛泽东放章士钊出来办事的同时，卽已在他身边布置了监视人员，除开上杜公馆，章士钊一直在共党特务的监视之下
因此，他甚至于极其诚恳的对章士钊说，如果章先生决心脱离共产党的羁绊，无论是到台湾或者到外国，行程和安全问题，杜某人可以拍胸脯包管解决。
「劝人的反被人劝了去」，章士钊不免倒抽一口冷气，但是他无法发作，更不能提出任何抗议，几十年来杜月笙对章士钊的好处多矣，何况，杜月笙态度的诚恳，也令人不容置疑。
恰好在章士钊和杜月笙反复辩论，不得结果的这一段时期，毛泽东在北平喊出了「人民民主战争」的口号，章士钊听见这「六字眞言」时连他也大不以为然。那日他到坚尼地台杜公馆去，座中偏有王新衡在，章士钊说民主与战争根本上是两极端之事，毛「主席」焉可混为一谈？王新衡于是便正告章士钊说：
「章先生，我是到过俄国的，我懂得这就是列宁的基本理论，共产党所极力提倡的正是这个，他们跟英美国家不一样，『民主』和『独裁』在共产党是二者为一，混淆不清的。你莫听他们口口声声的喊『民主』，其实他们的所作所为无一而非『独裁』！」
王新衡用醍醐灌顶之势，正是要唤醒章士钊的迷梦，因此杜月笙接下来便劝章士钊「倒向苏俄不如倒向英国」，何不就在香港住下，不要再去上共产党──泽东的当了。章士钊听后默然，使杜月笙、王新衡都觉得，这次劝他悬崖勒马，可能会得生効。
机要秘书走马换将
章士钊首鼠两端，踌躇不决，他这一次「衔命」赴港为毛泽东拉班底，其结果是演成一出笑剧，可能是章士钊听过杜月笙、王新衡的循循善诱后，神情举止的变异，使负责监视他的共党特务起了怀疑。一日，章士钊在他的港寓，刚派佣人出去买东西，他正一人在家等候，共党监视人员推门进来，请他即刻登车回大陆。据章士钊家的邻居后来对杜公馆的人说：当时章士钊曾要求等佣人回来，作一交杙，但是共产党特务不准，章士钊又说要去楼上向某人辞个行，对方还是拒绝，于是，章士钊自此不告而别，他等于是给共产党架走的。
回北平后的章士钊，其后也曾出来到过香港几趟，他在红色魔朝做官的愿望，始终未能达成，除了什么「人民代表大会」聊备一格的代表，毛泽东给他的实缺仅祇是伪文史馆副馆长，支几文干薪维持生活，落水者的所得如斯而已。
胡叙五充任杜月笙的秘书，原系抗战初期经黄炎培介绍过来，抗战八年，胜利四载，他为杜月笙致力甚多，杜月笙第一次旅港身边的得力帮手是翁左青与胡叙五，第二次仍还是这两位，不过首度旅港杜门座客常满，人文荟萃，如老虎总长章士钊，江东才子杨云史，吴佩孚的高级幕僚杨千里，都曾降尊纡贵，为杜月笙司过翰墨词章。二度香港居，文墨方面的工作就祗剩了胡叙五独挑大梁，因为翁左青明于事理，善长分析，颇能出出主意，管理庶务，若论笔下功夫，新旧文学俱有根柢。那他毕竟是及不上胡叙五的。
胡叙五随同杜月笙到了香港，工作了一段时期，不知怎的忽然动了蒪鲈之恩，起了还沪之念，口口声声的说要回上海。他这一决定使杜月笙大为不安，唯恐胡叙五之回大陆，引起无谓的麻烦与谣言，尤其旅港初期胡叙五兼为杜月笙掌管机密，他哓得的事情太多，又怕共产党对他加以利用。
因此杜月笙便亲自奉劝叙五兄，设非必要，何苦冒险自陷共区，他一再恳切挽留胡叙五，却是胡叙五辞意颇坚，无可奈何，又叫跟胡叙五谈得来的长子维藩，和万墨林两人从旁劝阻。
万墨林劝驾不曾发生作用，便由杜维藩接手，他约胡叙五到外面吃咖啡。
杜维藩直淌直的和胡叙五谈判，他问胡叙五：
「叙五兄，你说老板从前待你好哦？」
「很好。」
「那么，你是否嫌气老板现在待你不如从前了？」
「我没有这个意思。」
「叙五兄，」旣然是多年交往的自家人，杜维藩便坦坦白白的说：「老板从前待你好，是因为从前的路子粗，进账多，日脚好过。现在跟从前大不相同了，现在老板在香港，一点进账都没有，就靠带出来的那点钱，天长日久，坐吃山空，老板自家的日脚不好过，跟他的人当然要比从前差一点，好在有粥吃粥，有饭吃饭，大家同甘苦共患难。所以我说你最好不要在这个时候离开，免得人家批评你不够义气。」
胡叙五并不否认杜维藩所讲的话有道理，但是他去意已决，无法挽回。劝阻无効，胡叙五还是辞去了一斡十二三年的杜月笙秘书一职，他悄悄的回了上海
机要秘书出缺，使杜月笙大伤脑筋，幸亏早年卽曾在杜公馆任过秘书的邱访陌，当时也在香港，杜月笙便去请了邱访陌来，接替胡叙五的遗职。邱访陌是福建人，中过举，前清时代还当过一任知县。他还是杜月笙的老把弟，早年智襄团的首脑陈群陈老八介绍来的，学识渊博，文采斐然，在杜月笙一生所用过的专职秘书之中，就推邱访陌的文笔最好，有邱访陌来接胡叙五，不但驾轻就熟，而且更为得力。
想不到的是过了不曾多久，胡叙五又自上海悄然南来，仍旧回到杜公馆。杜月笙一辈子都尊敬文人，卽令他雇用的秘书，不论相从年份有多久，也是执体甚恭，客气得很，譬如他对年纪小他许多的胡叙五，十余年来便一直以「叙五兄」相称，一直待之如上宾。唯独这一次胡叙五不听他几度苦劝，到上海去打了一个转，再回来时，杜月笙的神情反应，便就开始冷漠、淡然，面孔也有点不大好看。这倒并不一定全然为了「好马吃了回头草」的关系，而是胡叙五以杜月笙机要秘书的身份，在那种共党统战，争取杜月笙还沪，满城风雨，四方瞩目的时候，全无必要的走了一趟上海，实已为杜月笙带来莫大的困扰，连他的知己朋友，在事隔若干年后，仍还以为胡叙五当年上海行，确与杜月笙与共产党「搭线」有所关连呢。
杜月笙对胡叙五渐形疏远，胡叙五便在杜公馆投闲置散，一日，他忽走访杜维藩，邀杜维藩一道做生意。
提起做生意，杜维藩倒是很有兴趣，当时他在建华街自立门户，一家六囗，开销不而收入缺缺，青黄不接时，积蓄用光，还得变卖手饰。
杜月笙每次谈到他几个儿子的生活问题，常常鼓励杜维藩他们兄弟三个说：
「你们应该去跟张云葆学学，就在香港做做生意，赚点铜钿。否则的话，在香港天长日久的蹲下去，那能个维持法？」
张云葆是杜月笙的小朋友，在上海和到香港后，都做进出口贸易，尤其香港时期，他长袖善舞，获利倍蓰，沪上旅港商界中人，就数他春风得意，能够大赚钞票。杜月笙叫他的儿子跟张云葆学，其实各人环境不同，运道殊异，发财的事不是投门拜师所可以学得来的，他无非希望他的儿子，能与张云葆看齐而已。因此，当杜维藩听胡叙五说有生意可做，他不觉心中一喜，顿卽便问：
「叙五兄，你说要做什么生意？」
但当胡叙五透露他心中的如意算盘，杜维藩不但兴趣全部消失，而且，他不惜兜头泼胡叙五一盆冷水，正色的告诫他道：
「叙五兄，现在时代不同了，这种生意，不要说做，连碰都碰不得。从前老板做这个。人人认为将本求利，理所当然。但是此刻除了共产党，到处都把这个悬为厉禁，谁做谁就犯法，万一出个差池，准定会搅得身败名裂！」
胡叙五一听话不投机，颇不开心，悻悻然的去了。后来杜维藩听说，他跟别人合伙做了一票，结果却被人家骗了一笔钱去
王新衡首次返台行
三十九年五月，王新衡奉召返台，行前，他去向杜月笙辞行，问杜月笙有什么事情交代？杜月笙则郑重其事的答道：
「我已经写好了一封信，请你转呈。」
他把那封上最高当局书取出，请王新衡先看一遍。杜月笙在信中备述他听说最高当局身体健康，精神奕奕，心中非常之高兴，他并且力陈自己决以「民国十六年时之反共及効忠领袖态度」，继续努力，以求贯澈，他又说共产党虽已占据上海，但是他自己仍在上海留有若干关系，尤且随时可以派人潜往工作。杜月笙十分热烈恳切的自动请缨，他说，不论最高当局有任何任务交办，他一定竭尽力量，设法达成。
王新衡赴台未几，旋又返港，他带来一份最高当局发给杜月笙的密电码本同时告诉杜月笙，他晋谒最高当局的经过。最高当局起先有意留王新衡在台湾工作，但在看过杜明笙的信，并且听了王新衡的补充说明后，遂又决定派遣王新衡常驻香港，担当香港方面的重任。
得到如此圆满的复示，杜月笙矍然而起，抖擞精神，他实有无限的感奋。
杜月笙决心离开上海，赴港避乱之前，曾经扶疾往访黄老板，力劝他的金荣哥预早为计，也跟他一样，作避难香江的打算。
当时，黄老板推心置腹，向杜月笙吐露自己不得而已的苦衷，黄金荣说：
「月笙，我老了，这些年来，我跟你的境遇不同，我是能不出门便不出门，能不动顶好不动。你算算，我今年已经八十岁，俗话说得好『人生七十古来稀』，我活到了八十一，就已经多活了十一年，今日死或者明日死，对我并无多大的关系。」
黄金荣接下去娓娓细诉的说，自从他六十岁那年正式宣告不问世事，安享余年，他生活的目标，就祇剩下每天抽几筒大烟，上一趟混堂淴一个浴凑几位牌搭子碰几副铜旗。除此三者以外，无复他求，也非有此三项享受而不欢。因此他堆满一脸苦笑诉与杜月笙：
「月笙，你替我想想，假使我去了香港，头一桩，羞馆里发现我抽大烟要捉。第二桩，你叫我到那里去找碰铜旗的搭子？第三桩，香港有没有混堂，能否容我这八十多岁的人每天去淴趟浴，也是问题。何况，树高十丈，叶落归根，我已风烛残年，能有几年好活？共产党来了，哪怕他们是狼心狗肺，三头六臂，充其量，叫我死吧，好歹我也死在家乡。」
杜月笙听他金荣哥说得如此剀切透澈，心知其意已决，也就不再劝了，却是辞出来时，意味得出这便是最后的诀别，他忍不住洒了两行热泪。
到香港坚尼地台十八号定居，第一次听到金荣哥的消息，为上海来人说得绘声绘影，言之凿凿。上海沦陷前夕，黄金荣唯恐炮火殃及，自曹河泾黄家花园迁居钧培里老宅，逐日淴浴、碰铜旗、吞云吐雾如故。共产党进了上海，起先倒还安然无事，但是数月以后，忽有一日，足有一百多人气势汹汹的直扑钧培里，围在黄金荣公馆的大门口，大呼小叫，齐同咆哮，扬言要把黄老板家中打得稀烂这时候，八十一岁的黄板匕鬯不惊，从容镇定，他精神矍铄，大踏步抢出门外，面对着那一百多攮臂掳袖，疯狂暴跳的强徒，黄老板拉开嗓门便是声声怒吼：
「我就是黄金荣，你们各位今朝来，阿是要把我黄金荣的家里打烂！」
多一半人被这白发皤皤老者的虎虎生气震慑，也有人杂在人丛中喊：
「是的！今天一定要打烂黄家！」
「好！」斩钉截铁的一答：「要打烂，我会得自家来！现在我把大门关上，我自家来打给你们看，等歇你们进来查，有一件物事勿曾打烂，你们尽管把我的房子拆了！」
言讫，便命手底下人关大门，童颜鹤发的黄金荣，掳起衣袖，抄根门闩，就此要自己打烂自己的家。这时侯，偏生又有不知从何而来的「调解者」，隔扇大门之外，作好作歹，高声排解，在说什么：
「好啦，好啦，黄金荣已经知错，看在他一大把年纪的份上，饶他一次」从八岁写到八十岁
紧接着，便又有人来拍门，黄金荣气喘咻咻的，亲自把门打开，外面有几个毛头小伙子，张牙舞爪，指手画脚，好生教训了黄金荣一顿。一场毁家的纠纷，方告有惊无险，化弭于无形，百把个穷凶极恶的人，逐渐散去。黄金荣八十多年来从不曾受过这大的侮辱，回到客厅，气呼呼的一坐，足有半晌说不出话，他老泪纵横，徒呼负负，那几个毛头小伙子教训了他些什么，也是一个字都不曾听见。
隔不了几天，又有共产党的干部上门来，他们满脸奸笑，却是态度强硬，逼牢黄老板，叫他「向人民大众坦白」，黄老板双手一摊的问：
「叫我坦白啥末事？」
「你这一生的事，」共产党干部字字着力的说：「从你八岁起，到八十岁为止，请你详详细细写份自白书。」
黄金荣有意反抗，但是家中各人苦苦劝他忍耐，「人为刀俎，我为鱼肉」，反抗是没有用处的。迫于无奈，请位朋友写了厚厚一迭的自白书呈上去，从此以后便坐立不安，提心吊胆的等候判决。其结果，是共产党派人来抄家，妙的是，毛病还并不出在黄金荣的自白书上。
黄金荣的二儿子黄源焘，十足的少爷、小开，抗战胜利后，上海治安欠佳，铤而走险的歹徒甚多，上海好白相的大少爷，普遍存在一种风气，那便是别一支手枪防身，并且跟治安、情报工作人员攀攀交情拉拉关系，图一个安全保障，黄源焘不会开手枪，可是也并不例外。他有一支自备手枪，又跟一位姓戚的谍报人员很要好，上海撤退，姓戚的有一大捆步枪存放在黄源焘住处，这件事黄金荣确实并不知情。
倘若是在黄老板当权得势的那些年，钧培里黄公馆，长短枪支经常也有个五七十杆，这一大捆步枪，实在无啥稀奇，不过共产党来了，情形大不相同。因此，当共党干部破门而入，从黄源焘的那一支手枪抄到了一大捆步枪时连经过多少惊风骇浪大场面的黄老板，居然也给吓得目瞪口呆，面如死灰。
当时，共产党仅祇把枪支没收，黄源焘则被带了去问话，共产党对他倒也并不为难，招出来枪支来源就此作罢。然而，正当祖、叔、孙三代，黄金荣、黄源焘和黄启予之弟黄启明衷心庆幸，逃过一场大祸。又数日，共产党来了一份通知，黄金荣的自白书看过了，「上级」认为他「有罪」，所给他的处罚是，每天早晨到黄老板自家开的「大世界游乐场」门口扫街。
「处在矮檐下，不得不低头」，老迈龙钟的黄金荣，八十一岁的白发老翁，由共产党干部押解，开始在大马路大世界门口手执长帚扫街了。消息传出，全上海人为之震动，当日，也不知有多少人麕集街头，亲眼目覩共产党凌辱黄老板。有人欷歔，有人愤慨，黄金荣则面部毫无表情，一步一步的在扫地矮胖身躯，彷佛一具笨重的机械。于是共产党为扩大宣传，派了记者来采访，来拍照，许多「干部」围在黄老板的四周任意谑笑。
这张黄老板大世界扫街的照片，刊登在上海各报显着地位，不久报纸传到香港，一日，杜月笙心血来潮，忽然问起上海报纸为何多日不见？他很关切上海方面的消息，家中各人则因为时值上海清算鬪争期间，唯恐杜月笙看到老朋友如何受到屠戮迫害，心中难过会得妨碍病体，所以有时候便藏过几张，不给他看。齐巧这一日杜月笙一定要看新到的上海新闻报家人无奈，祇好再找出来，交到他的手上。
杜月笙一眼便看到「黄老板扫街」的那张照片，他的表情始则惊骇，继而切齿，然后便是深切的痛苦与悲哀。他脸色灰败，身子摇摇晃晃，勉强的将那一段新闻读完，自此便坐在沙发里咻咻的气喘。
那几天他精神略好一点，金荣哥所受的折磨，带给他莫大的刺激，于是当日又告病倒，家人十分慌乱，因为他的喘势越来越急。
又是缠绵病榻，中医、西医川流不息，那天，黄老板的长媳黄李志清到访，除了探病，她还有重要事体要跟杜月笙商量。
杜月生在病榻上很亲切的喊黄李志清「妹妹」，请她坐下，问她有什么要紧事？于是，黄李志清拿出了一封方自上海寄来的信，黄金荣向他的媳妇「求援」，他叫黄李志清赶紧设法筹款汇寄上海，因为，共产党要黄老板捐献两万美金。
看完了信，杜月笙又是一阵愤恚与激动，好不容易用药物压制下去他的急喘，他漾一抹苦笑，有气无力的问黄李志清道：
敲黄金荣美金十万
「妹妹，妳打算怎么办？」黄李志清告诉他说：她正是得信以后急如热锅蚂蚁，一时打不定主意，所以才到杜家伯伯这边来讨教。
于是，杜月笙开口说话了：
「妹妹，倘若是共产党网开一面把老板放出来祇要老板平安无事到了香港，莫说是两万美金，便是美金二十万，我和妳倾家荡产都不够，那怕去求、求借，我们也是愿意的。」
黄李志清也是伤心难过，她点点头说：
「就是说嘛。」
「倘使老板到了香港，我们有饭吃饭，有粥吃粥，苦日脚一样过得快活。」「是啥。」
「现在的问题是老板绝对出不来，」石破天惊，杜月笙点入正题：「因此之故，我们无论寄多少钱回上海，结果一定是毫无用处。」
黄李志清一心惦记她公公在上海如何受逼，知何受罪，纯粹基于一片孝心，她总以为能够筹出这笔钱汇过去，一方面算是她自己努力设法尽了孝道，另一方面也许可以使共产党对待老板好一点。
她把自己的心意，同杜月笙说了，杜月笙听后却唯有摇头苦笑。黄李志清的作法，他不赞成，同时他也说明他不赞成的理由：
「妳这样做祇有一个结果，让共产党认为老板是一条财路，头一次两万美金汇去，第二次的讹诈不久又来。妳不再寄了，他们就会加倍的压迫老板，折磨老板，使老板的罪越加难受，永远不断，他们非逼牢妳继续寄钱不可。到那个时候，莫说我们是逃难来的，手头有限，就有金山银海，也是不够。」
黄李志清急得掉下了眼泪，她焦灼万状的说：
「杜家伯伯，你说我们到底应该怎么个做法？也不能看着老板受逼啥！」
「妹妹，妳不要急，卽已如此，急煞也没有用处，」杜月笙柔声的安慰她说：
「要末妳照我这一个办法做，回信老板，告诉他在香港筹钱很不容易，跟亲眷朋友开口，必定要说接得出老板来，方始可以筹到这一笔大数目。唉！」
浩然一声长叹，杜月笙又不胜欷歔的说：「老板八十一了，他还害得有老肺病，一生世不曾起过早，如今喊他天天起早扫街，风麈残年，能够熬得了多久？依我看，卽使要接他到香港，这件事也得赶快。」
得了杜月笙的应付之策，黄李志清兴辞离去，她为了尽孝道，她怕黄金荣在上海被共产党逼得太紧，可能发生意外，因此她凑集一部份现款，又变卖了些手饰，准备先汇一笔数目到上海去，也好让黄金荣在上海有个缓冲的余地。
果然，钱还没有汇走，共产党又逼着黄金荣打长途电话，关照黄李志清速卽筹款，立汇上海。黄金荣在电话中问起儿媳妇在香港借筹款项的情形，黄李志清晓得他身边有共产党监视，祇好推托的说：
