风雨飘摇之际，蒋介石于一九四九年退居台湾，宋美龄亦在隔月的一九五0年一月十三日，翩然从美国假道菲律宾到台湾。稍早，蒋介石连襟孔祥熙、郎舅宋子文早已远走美国，不再过问国民党当局的政事。
一位长者曾经告诉笔者，一九五0年代因寓居美国，常与宋子文在纽约友人寓所晤面，一块玩showhand(梭哈)，从宋子文输赢的情况观之，宋子文晚年用钱非常谨慎，迥异于昔日传媒攻击他大发“国难财”，出手阔绰挥金如土的负面形象。
宋子文在官场的最后阶段，虽然曾经于一九四七年九月，向国民党中央党部捐献了他个人在“中国建设银行”的全部股份──价值五千亿法币的股票，但是仍然难以抚平各界对他的谤议与指责，特别是蒋介石又在随后任命他担任广东省政府委员兼省主席，传媒“捐官鬻爵”的批评更是铺天盖地。蒋介石下野，宋子文也卸下官职。一九四九年五月十六日，宋子文从香港辗转飞赴法国，一个月后，他从欧洲转往美国定居。
大陆解放后，国民党党内出现各种追究政权崩溃祸首的声音，孔宋家族自不免成为众矢之的，在这股敌视氛围下，孔祥熙、宋子文两人尽量避免到台湾“抛头露面”。蒋介石重新登上“总统”大位之初，一度邀请宋子文到台湾。蒋介石在信上说：“国难日亟，希兄移玉台湾，共济艰危，为盼！”宋子文基于盛意难却，曾于一九五0年三月，专程赴台报聘，短暂访台数日。他当面向蒋介石表示已无意仕途，坚决不再过问国民党政务，只想在美国安享晚年，含饴弄孙。
一九五二年十月，国民党在台北召开第七次全国代表大会，闭会之前宣布：“在此次全国代表大会以后，中央委员会应举办党员总登记，详订办法，严加考核，分别去取”。于是，借着党员总登记的机会，开除了包括宋子文、孔祥熙在内之重量级党员党籍。蒋介石似乎有意藉此“大义灭亲”，昭告其“励精图治”的决心。事实上，蒋介石真正目的，不过是要安抚党内反对孔宋情绪，此举并不影响蒋介石与孔宋家族之间的私人关系，毕竟裙带关系是一辈子难以割舍的。
然而，真正造成宋子文和蒋介石关系疏离的，则是“吴国桢事件”、“孙立人事件”的接踵爆发。先是一九五四年三月，国民党当局诬指吴国桢“背叛国家，污蔑政府”，宣布解除吴国桢一切职务，并开除其党籍。吴国桢原本是宋子文、宋美龄兄妹十分倚重的干材。一九五五年十月三十一日，孙立人以“意图兵变”的莫须有罪名，被国民党当局撤除了一切军政职务，并遭软禁于台湾台中自宅，孙立人出身于宋子文担任财政部长时期的税警总团，堪称宋子文嫡系人马。
吴国桢、孙立人先后中箭落马，导致宋子文更不愿与台湾方面密切往来。宋子文、宋美龄兄妹似已意识到，蒋介石当局之所以“破获”吴国桢、孙立人事件，与蒋经国积极营造接班布局有某种巧合。迹象显示，蒋经国相当忌讳孔宋家族在台湾“复辟”，借着吴、孙事件，正可斩断孔宋家族在台湾滋生之根苗。
类似事件让宋子文裹足不前，避免踏进台湾土地一步。一九五八年十二月，台北两家日报以小篇幅的版面，报导了一则消息，报导称：“前行政院长宋子文，可望在本年底或明年初返国，将在台北停留一短时期。”不多时，宋子文抵达香港之后，他随即在香港和几家媒体记者会面，当众表示，他从一九四九年至今，寓居海外已将十年，对政治已完全不感与趣，他这次到香港，系处理私人事务，并与亲友在香港过圣诞节，并无造访台湾的计划，更未肩负任何政治任命。果然，宋子文在香港勾留了二十几天，旋即搭机返回美国。据香港记者事后转述，六十七岁的宋子文，面庞清癯削瘦，头发半白，对复出政坛已经意兴阑珊，如今只想颐养天年，不再过问官场之事。
香港与台湾近在咫尺，宋子文都过门不入，可证“吴国桢事件”、“孙立人事件”发生后，孔宋家族对蒋氏父子一意孤行的做法，私底下是相当不以为然的。除了宋子文“过门不入”之外，整个五0年代，孔祥熙也从不曾到过台湾，虽然在“国民大会”召开大会期间，岛内传媒几度预测孔祥熙可能以“国大代表”身份，抵台开会，但也始终是只闻楼梯响，未见人下楼。
孔宋家族旅居美国的家族成员中，首先到台湾进行破冰之旅的，是孔祥熙的妻子，宋家大姐宋霭龄。一九五六年十月中旬，宋美龄以替蒋介石暖寿(七十岁生日)名义，邀请孔祥熙、宋霭龄夫妇到台湾，孔祥熙因身体情况欠佳，不适远行，仅由宋霭龄代表赴台，为蒋介石祝寿。宋美龄还特地在士林官邸，举办了一场茶会，专门介绍孔夫人(宋霭龄)给台湾各界要人认识。
惟独宋子文，自从一九五0年初一度短期勾留，即从未踏进台湾一步。然而，亲戚终归是亲戚，一九六三年初，蒋介石分别亲自去电给在美国的孔祥熙、宋子文，盛情邀请连襟和郎舅，能合家到台湾来一块过旧历新年，以示家族团聚之意。由于蒋介石再三电邀，宋子文却之不恭。
据蒋介石侍卫人员回忆，一九六三年二月七日，宋子文搭飞机假道菲律宾悄悄抵达台北。他的弟弟宋子安，则比他先到数日。宋氏兄弟下榻在台北圆山大饭店，宋子文在台湾待了十二天，其间除了在台中参观了一场军队演习，从未出席任何官方活动。二月八日，适为元宵节，宋子文、宋子安兄弟，孔祥熙、宋霭龄夫妇，与蒋介石、宋美龄夫妇，连袂前往台湾南部澄清湖，在澄清湖招待所，东道主蒋介石、宋美龄以丰盛的晚餐，招待孔祥熙、宋霭龄夫妇及宋子文、宋子安兄弟。参加这项“家宴”的，还有蒋经国、蒋纬国兄弟。由于这是蒋介石一家与孔宋家族，自从一九四八年以来，头一回全体团圆聚首，蒋介石也与宋子文阔别十三年，宾主久别重逢，本应分外亲热，然而据侍卫人员表示，宋子文无论是在士林官邸作客，或者元宵节在澄清湖招待所聚餐，神色固然轻松自在，但大部份时间总是沉默寡言，只有蒋介石询问时，作简短应答，很少主动讲话。住在圆山饭店，宋子文也是深居简出，在台十几天时光里，仅由宋子安陪同，一块出门逛了一趟台北商业区衡阳街。
侍卫形容，一九六三年元宵节这场家族聚会，是蒋宋孔三家的“最后聚会”。一九六七年八月，孔祥熙病逝纽约。一九七一年四月二十五日，宋子文在友人广东银行董事长余经铠寓所用餐时，因食物不慎误入气管，窒息而逝。五月一日下午，在纽约市一所教堂举行追思礼拜，追悼宋子文。参加这场追思礼拜的重要贵宾，包括顾维钧、刘锴、杨曼以及美国前国防部长麦克劳等人。
一九七一年春天，蒋介石健康状况已亮起红灯，宋美龄不敢离开蒋氏身边。人不到，挽额不可免，蒋介石送去一块匾额，上书“勋猷永念”四字。
宋子文追思礼拜结束不久，美国传来一则外电称：“曼哈坦遗嘱认证法庭透露，中华民国前财政家宋子文，留下遗产一百多万美元。”根据宋子文的遗嘱明定，宋子文把遗产的一半交给他的夫人张乐怡，另外一半的遗产平均分配给三个女儿与九个外孙。
