※ 四大家族鼎盛一时，而他们之间亦矛盾重重。图为陈立夫、陈果夫一家。
中国有句老话：“物极必反，否极泰来。”就在孔祥熙政治、经济地位达到巅峰状态的时候，丧钟却也悄悄地为他敲响了。孔祥熙的挽歌首先是从美国一家报纸唱起的。1941年3月的一天，美国《纽约时报》发出一篇在美国公众中毫无反应却令孔祥熙胆战心惊的报道。报道说，在抗日战争的胜利曙光已经出现的时候，重庆却变成了一个充满忧虑、猜疑和诡计的女巫的施术场。孔祥熙当然知道，这个女巫指的就是宋霭龄，而这个指责的最终目标就是他。
其实，在美国记者披露孔祥熙的丑行之前，香港《大公报》就曾对孔祥熙进行过揭露和抨击，并传到了蒋介石的耳朵里。然而使蒋介石对孔祥熙反感的根本原因，是他发现这位貌似谦和的老好人极为贪婪。有人曾告诉蒋介石，抗战期间孔祥熙利用职务之便大发国难财，至少为自己聚积了10亿美元。一位美国人说，孔氏家族至少有30亿美元。孔家的暴富还引起了国民党内部其他派别的猜忌、妒恨和攻击。最积极的要数陈立夫、陈果夫两兄弟。
蒋介石作为一个惯于耍政治手腕的人，也不能不考虑国民党内的反应，为了一个孔祥熙而失去那么多的支持值不值。而最终促使蒋介石下决心撤掉孔祥熙的直接原因，却是宋霭龄“参与谋划”了一起由高级军官发起的倒蒋的未遂政变。实际上，这对孔祥熙来讲真有点“莫须有”了。
1943年12月，中美英在开罗举行三国首脑会议，蒋介石偕宋美龄出席。与此同时，在重庆一群新近晋升的高级军官却在秘密策划一起倒蒋政变。当时，这些激进的军官认定，中国的落后挨打局面是由于蒋介石的腐败无能。要想挽救中国，必须舍身成仁，推翻蒋介石及其走狗。这些军官秘密地同美国人接触，希望能得到美国的支持。美国方面显然对此持慎重态度，他们暂时还看不出这次政变有多大的把握，但他们显然对此感兴趣。因为他们觉得，这样至少可以猛击蒋介石一掌，使蒋介石对自己和国民党的阴暗面有所重视，所以美国方面对政变计划不置可否，于是政变在有条不紊地准备着。时间选在蒋介石出访期间的12月12日，这天也是当年“西安事变”发生的日子。那一次张学良、杨虎城只是捉蒋没有倒蒋，而这次他们是要倒蒋而不是捉蒋，但政变还没有进行就流产了。就在蒋介石出访后的第三天，也就是政变者们秘密聚会商讨最后行动的那天晚上，事先得到情况的特务头子戴笠联络中统的陈氏兄弟，一举捕获了这个企图政变的军官团伙。600多名军官被捕入狱，其中16名将军被处以极刑。
※ 戴笠（1896～1946） ， 浙江江山人。国民党情报机关头目，“军统”副局长。
※ 在男权政治中，宋美龄亦独领风骚，而宋霭龄就没有那么幸运了。图为（左起）蒋介石、罗斯福、丘吉尔、宋美龄。
※ 孔祥熙失宠了，眼神中的凄楚难以掩饰。
当蒋介石回到重庆后，对宋霭龄又恨又怕的戴笠和陈氏二兄弟旁敲侧击地提示，这次政变的真正策划者很可能是埋在蒋介石身边的定时炸弹，亦即宋美龄的姐姐宋霭龄。蒋介石心头一颤，宁可信其有，不可信其无……
于是蒋介石又走了一步险棋。他去找宋子文，请宋子文谈谈对孔祥熙、宋霭龄的意见，征求宋子文对当前政坛的看法。宋子文对10年前孔祥熙从自己手中夺走权力始终耿耿于怀，对宋霭龄参政揽权也一直心怀不满。这次蒋介石找上门来，他虽不是受宠若惊，也感到了一丝欣慰。于是，他不太客气地讲出了自己的想法，特别是宋霭龄对宋美龄的影响和控制等等。蒋介石的目的达到了。把孔祥熙赶下台后，宋子文肯定愿意再次接替财政部长这个位置。于是蒋介石又立即召见了戴笠和陈氏兄弟，叫他们严守秘密，有关材料尽可能销毁。当做完了这一切后，蒋介石才找宋霭龄要她陪宋美龄到美国治病，让孔祥熙也陪着去，考察一下美国的实业，顺便讨回欠债。
对孔祥熙的失宠，宋霭龄是有预感的，但没想到来得这么快。抗战还没结束，国家百废待兴，在这种时候撤换财政部长于国不利呀！然而这只能是难言的痛，蒋并未明言撤换，只是安排他们暂时到美国去住一段时间，但这明摆着就是司马昭之心。
虽然蒋介石已决心让孔祥熙下台，但绝对要做得“合情合理”，以免引起政坛动荡和人们非议。为使孔祥熙“合理”倒台，蒋介石绞尽了脑汁。首先，他让孔祥熙到美国讨债，这样就为在国内倒孔留出了空间。一方面他对戴笠、陈氏两兄弟交代，要严格控制对孔祥熙攻击的分寸。另一方面从整顿经济秩序、建立健全政策法规入手，先从经济上搞臭孔祥熙。的确，孔祥熙从南京政府刚成立时就任实业部长，以后步步高升，任国民政府财政部长，行政院副院长、院长，成为在国民政府中举足轻重的人物。仅在一年前，祝贺孔祥熙任财政部长10周年的纪念会上，还都是一片颂扬之词，怎么能说倒就倒了呢?!
孔祥熙和宋霭龄也非常清楚目前的处境。宋霭龄失宠，必然累及孔祥熙，孔祥熙丢了乌纱帽，他庞大的财产就会被慢慢侵蚀掉。于是宋霭龄借出国的机会，趁蒋介石对孔祥熙的斗争还没有公开化之前，赶紧把国内的巨额资金转移，为以后的归宿做好准备。他们把目标放在了南美。那里和中国的联系较少，受国际政治的影响较小，比较安全。而且南美有丰富的矿产，很多地区都是未开发的处女地，投资定能获得丰厚的利润。于是宋霭龄在1944年6月到了美国后不久，便开始在巴西购买大量的企业股票，在圣保罗银行存进巨额资金。
就在孔祥熙夫妇加紧转移他们财产资金的时候，倒孔的计划经过紧锣密鼓的准备后，也公开登台了。在蒋介石的授意下，一次国民党中央执行会上，陈立夫、陈果夫兄弟首先跳出来向孔祥熙发难。蒋介石还是老样子，腰板挺得笔直，面部严肃得看不出任何表情。但从他那双射着毒光的眸子里，孔祥熙看出了杀机。孔祥熙控制了一下自己的情绪，掏出手帕揩了一下脸，然后对端坐在中央的蒋介石说：“鄙人才疏学浅，本是委员长赏识，能为党国贡献绵薄之力，如有贻误，本人愿承当责任。为了国家大计，我请求委员长恩准，辞去行政院长和财政部长之职。”蒋介石像早早知道孔祥熙要提出辞职一样，没有丝毫的惊异之举。他在最后的总结讲话中，照例把孔祥熙赞美了一番，同意了孔祥熙的辞职请求。接着蒋介石又提议由宋子文接替孔祥熙的职务，当即“全票”通过。
孔祥熙辞职的消息在重庆慢慢传开。与此同时，国民党政府最要好的“伙伴”——美国人对孔祥熙指责的消息也不胫而走，似乎和孔祥熙的辞职遥相呼应。
1945年8月，也就是国民党参政会闭幕大约一个月后，重庆的《中央日报》刊登了这样一则消息：““中央银行”总裁孔祥熙及国库局长吕咸，辞职获准。”寥寥几个字，没有任何解释。
春天，重庆多雨的季节。宋霭龄也像窗外淅淅沥沥的天气一样，成了泪人。几十年来，这个意志坚强、精于算计的女人，一直春风得意。虽然她没像两个妹妹一样当上“第一夫人”，但是她得到了比“第一夫人”还要多的东西。现在她明白了，人不可能总是顺境，花园里不可能总开满鲜花。人生变幻，世事无常啊！
宋霭龄难受，孔祥熙更难受。他劝宋霭龄不必为蒋介石哭泣，要多想想自己的身体，自己的成就。只是在劝妻子的同时，他的心也在滴血。孔祥熙想起了10年前自己接任财政部长时宋子文的话：“给蒋介石当财政部长等于给他当一条狗。”那时他不理解，觉得宋子文过激了。现在他才理解了这句话的含义。
抗战胜利前一年发生在“四大家族”内部的这次倾轧，为后来的历史学家留下了不尽的寻味。一般的看法是，当年所谓的“未遂政变”将宋霭龄以及孔祥熙牵扯进去，纯粹是莫须有的捏造，或者干脆就是蒋介石为了打鬼而借助的一个钟馗。但不管怎么说，因这次“未遂政变”引发的内讧，对每个家族都发生了重大影响，并注定了国民党核心层的分裂和国民党失败的命运：孔祥熙从此一蹶不振，再没重返政坛。陈氏兄弟一时得宠，但好景不长。宋子文虽然得势于一时，并复得了10年前为孔祥熙取代的职权，但宋氏家族的分裂已使他孤掌难鸣，再也形成不了左右政局的力量。
孔祥熙在美国半年多，利用他最后的影响力为蒋介石讨回了一亿多美元的垫款，又购买了大量黄金，作为国民党政府发动内战的金融准备。作为回报，蒋介石虽然提出了孔祥熙的问题，但并没有公开揭露和批判，保全了孔祥熙的面子。这是蒋孔十几年政治生涯的最后一次合作和交易，而且彼此心照不宣。但无论如何，孔祥熙下野已是大势所趋，民心所向，不可逆转了。
※ 孔祥熙失宠了，再也不如从前那般威风了，欲夺取权势的人便马上露出了狰狞的面目。图为陈立夫夫妇与陈果夫夫人朱明。
正如当时《中央日报》公布的那样，无可奈何之中，孔祥熙在辞去了行政院长、财政部长之后，又相继辞去了“中央银行”总裁、中国农民银行董事长、四行总处副主席等职务。这样，在不到一年的时间里，孔祥熙先后辞去了5个最重要的职务，只剩下中国银行董事长、国府委员和国民党中央执行委员这些有名无实的闲职。国民政府的“财神爷”终究也成了端着别人饭碗的“乞讨者”，一旦你危及了主人的利益，那么再厚实的关系也终要走向结束。
