威廉斯自觉财富充裕了，于是买下乔治亚州外海列屿中的一座小岛，甘蓝岛。甘蓝岛是笔误打误撞的买卖。这座小岛幅员1800亩，其中有500亩在涨潮时泡在海水中。1966年他花了5000美元买下它。码头的老鸟们都说他被坑了：前一年甘蓝岛在巿场上的行情只有他花的一半价钱。5000美元买一块不能盖房子的地皮实在划不来。但是过了几个月，若干海岸小岛上发现磷酸矿，其中就包括甘蓝岛。威廉斯转手把它卖给了奥克拉荷马州的克尔—麦基公司，售价66万美元。邻近几座小岛的地主笑他急着上钩。他们惜售，待价而沽。过了几个星期，乔治亚州立法禁止沿岸海岛的探钻，磷酸矿买卖就此画下句点。结果，只有威廉斯及时脱手。他赚到的税后净利达50万美元。
这会儿他开始买进更富丽的古宅，其中之一是阿姆斯壮府。那是一座意大利文艺复兴建筑风格的巨邸，隔着布尔街与厚重沉稳的欧格索普俱乐部相望。阿姆斯壮府教欧格索普俱乐部相形见绌，而根据地方传说，这正是当初建造它的目的。据说，航运巨子乔治·阿姆斯壮于1919年建造此邸，是因为遭该俱乐部投票否决他的入会申请。尽管这说法并不确实，阿姆斯壮府仍是屋中之狮。它顾盼自雄、睥睨凡俗。它甚至有一道弧形柱廊，宛如一只伸出的巨掌，一把打掉对街欧格索普俱乐部的趾高气昂。
阿姆斯壮府夸张的壮丽吸引了廉斯，也刺激了他对富丽堂皇与日俱增的胃口。他不是欧格索普俱乐部的会员。一个乔治亚州中产阶级出身卖古董的单身汉，不太可能受邀入会——他倒不把这放在心上。他把他的古董铺设在阿姆斯壮府内，一年后再将它卖给“鲍汉，威廉及李维”法律事务所，继续过得像个世家贵胄。他经常赴欧洲采购——如今可有排场了，坐的是商务舱——运回一整货柜的重要画作和上等英国家具。他购入了他的第一批“法贝杰”精品。威廉斯在沙凡纳巿地位日隆，令某些名门世家颇为懊恼。“当个‘新富’的滋味如何？”有回一在一个场合上有人问他。“要紧的是这‘富’字。”威廉斯回答。说完这话，他就买下了莫瑟府。
莫瑟府闲置已有10余年。它坐落在蒙特利广场西端，在沙凡纳巿众多绿荫遮蔽的广场当中，就数蒙特利广场最是优美。莫瑟府是一栋红砖建造的意大利式巨宅，雕饰华丽的铁铸露台，烘托着拱形高窗。它与街面有一段距离，雄踞在一大片草坪和铸铁围墙后方，说它正对着广场，毋宁说是端踞俯瞰。巨宅最晚近的住户，慈坛社社员，把它作为“下风寺”。他们在大门上挂了一把霓虹灯管做成的单刃弯刀，在室内骑摩托车。威廉斯买下莫瑟府后，将它整修得比原来更为典雅。1970年装修竣工，他举办了一个男士须打黑领结的半正式耶诞派对，广邀沙凡纳巿上流社会精英。派对之夜，莫瑟府的每一扇窗户均闪着烛光，每一个房间均挂着夺目的水晶吊灯。巿民云集屋外，观看一批批抵达的俊男美女，赞叹这栋曾长久漆黑闲置的美丽屋宇。钢琴师在楼下用直立式钢琴弹奏鸡尾酒组曲，风琴师在楼上弹奏古典乐。身穿白色西装上衣的侍者端着银盘里外巡迴。穿着丝绸罗纱的仕女们在迴旋梯上穿梭款摆。老沙凡纳人目眩神摇。
这派对不久即成了沙凡纳巿社交日历上的固定节目。威廉斯总是把日子订在冬季的最高潮——女孩们初登社交界的大型舞会前一夜。这个周五夜晚成了知名的吉姆·威廉斯耶诞派对之夜。它是“年度最佳派对”。就威廉斯而言，这可不是什么微不足道的成就。“你要了解，”一位第六代沙凡纳人表示，“沙凡纳人把派对非常当一回事。此地的男士自己都有白领结和燕尾服。我们可是不租礼服的。所以说，吉姆既不是本地人，又是个单身汉，能在社交圈建立这样的地位，就他而言，委实是一大成就。”
威廉斯的派对上所用的食物，一向由沙凡纳巿人争相邀请的外烩师傅露西儿·莱特提供。莱特太太是位浅肤色的黑人妇女，她的服务备受推崇，甚至据闻沙凡纳巿社交圈中执牛耳的女主人有的为了迁就她的时间而更改派对日期。莱特太太的手艺很容易辨认。宾客只消嚼一小片乳酪，吃一只法式沙拉虾仁，或者咬一口马铃薯三明治，就会会心一笑。“露西儿的……”就这么一句，旁的都不必多说了。（露西儿·莱特的马铃薯三明治绝不会湿答答黏口，她向来先用纸巾轻拍马铃薯片，这是她十八般独门绝活之中的一项秘诀。）她的主顾都尊重她。“她是位道地的淑女。”她们常这么说，而从语气听得出，她们认为这话对一个黑人妇女算是崇高的赞许了。莱特太太也赞许她的主顾，不过她的确透露了一点：沙凡纳的社交女主人，即使是有钱人家的主妇，也难免会跟她说：“是这样的，露西儿，我想办个像样的派对，可是不想太浪费。”吉姆·威廉斯就不是这样了。“他喜欢排场，”莱特太太说，“而且不在乎花钱。非常不在乎。他总是告诉我，‘露西儿，我有200位客人，我要荷、比、卢等国家的特产，要数量充裕。我不希望供不应求。你需要什么尽管去准备，我不在乎花多少。’”
