孔祥熙利用手中所掌握的权力，在使国家垄断资本不断膨胀的同时，也使自家的资财随之迅速增长。孔在从政前虽也有些资产，但主要是商业资本，他家的山西裕华银行只是商业资本的保姆，工业资本则多半是他人依附或偶尔为之。孔夫人宋霭龄性格干脆利索，善于决断。孔祥熙性格中则有胆小优柔的一面，夫人的果断推动着他营私舞弊的“特长”更上一层楼。
抗战前，宋霭龄曾伙同宋子良、陈行、徐堪等在上海组织七星公司，专做证券、标金、棉纱、面粉等的投机，在交易市场上多次掀起风潮，引起对手的怨恨和舆论的抨击，但由于有蒋介石和宋美龄的庇护，终于无事。
抗战初期，宋霭龄仅在套取外汇的投机中，据说就“捞了800万英镑”。1939年时，宋霭龄在美存款，居重庆政府“所有要人在美国银行中的存款的第一位”，被美国记者赛利文称为“中国人民的钱袋”。孔的长子孔令侃在21岁时，便被蒋介石指派为中央信译局常务理事，肩负实际责任。他利用进口军火大获巨额回扣，抗战期间利用西南运输公司，掌握“国家专运”特权，趁机装运私货，走私贩私，获取暴利。孔令侃“经商赚钱”的本领，曾经受到孔祥熙的夸奖。
孔的次女孔令伟在重庆掌管祥记公司、广茂兴、晋丰泰等企业，利用当时“工不如商、商不如囤”的情况以及豪门权势，大搞囤积居奇等不正当经营，大发国难财。
孔祥熙捞取巨大实惠的同时也惹来许多麻烦。在他操纵控制的一次金融风潮中，上海滩黑道大亨杜月笙投机不成，遭受巨额损失，气急败坏之下，径直到孔宅索要赔偿。以孔祥熙的势力其实根本不惧怕杜月笙，大约他毕竟心里有鬼，就找了个油水丰厚的行政院建筑工程让杜承接，算是摆平此事。
国民党统治区的广大民众，对“四大家族”在抗战后期的独裁、贪婪、不恤民生的所作所为日益不满。1944年5月，中国西南实业协会、迁川工厂联合会、中国全国工业协会等五个工业团体共同拟就《解决当前政治经济问题方案建议书》，送交国民党五届十二中全会。其后，黄炎培等30人发表《民主与胜利献言》，要求国民党改弦更张，实行民主政策。国民党内与孔家争权争利争宠的各派系也趁机而动，予以抨击。
1944年11月，在政坛风云变幻中，孔祥熙迫于压力，终于辞去财政部长等要职，结束了把持中国财政的日子。但由于蒋介石的庇护和压制，孔家贪污蠹国的丑行一直未曾得到彻查和应有的惩处。
孔祥熙辞财政部长职后，滞留在美国半年有余。1945年，他辞去行政院副院长，7月离美返国，同月辞去中央银行总裁和四联总处副主席职务，10月辞去中国农民银行董事长职，至此仅保留了中国银行董事长的职务和国民党中央执行委员的头衔。
为了谋求东山再起，孔祥熙也曾进行过一些活动，1946年当选为“国大”代表，但由于政学、CC等派系的抵制，复出无望。1947年秋，他以接获宋霭龄在美病重的电报为由，匆匆离沪去美国，避开政治风浪，1948年1月又辞去中国银行董事长职务，彻底淡出政治舞台。
蒋介石集团退处台湾，曾聘孔祥熙为“资政”。1962年，孔赴台湾暂住，1966年旧病复发赴美治病，1967年8月16日因心脏病在纽约去世。
