嘉靖四十一年(1562年)，身为御史的邹应龙忽上奏章，弹劾严世藩贪污受贿等不法之事。但奏章当时未敢即连严嵩，只讲他“植党蔽贤，溺爱恶子”。历史上有些事，发端有时离奇近乎荒诞，邹御史之所以敢于忽然间挺身而出，并非直接受徐阶指使，而是缘于他所做的一梦：他梦见自己骑马出猎，看见东边有一高楼，土基宏壮，顶覆秸杆。邹应龙拉弓而射，大楼轰然坍倒。醒后，邹御史鼓励自己，这是我搬倒“东楼”(严世藩)的吉兆啊，于是他奋笔疾书，立写弹文。
嘉靖帝对严嵩父子日久生厌，又有道士们一旁窜掇，便下诏逮严世藩入大理狱，命严嵩致仕，“仍给岁禄”。
发现皇帝对老父严嵩没有一棒子打死，严世藩深知事情不像想象中那样不可挽救。他通过早先交结的内保太监，奏称道士蓝道行与邹应龙里外色结，陷害大臣。嘉靖帝各打五十大板，命人逮捕蓝道士送入牢房审讯。严嵩嘱托刑部的心腹，严刑拷打蓝道行，最终目的让他诬攀徐阶为幕后指使。谁料，蓝道士挺“英勇”，坚决不承认受徐阶嘱指。由于严氏父子势力根深固结，最终蓝道行获罪被处死。
朝中独相十余年，严嵩党羽力量确实大。但是，如果不处理严世藩，又无法向皇帝交待，法司最后就“裁定”严世藩受贿八百两白银，上案于御前。廷议后，判决流放严世藩于雷州，其两个儿子及心腹罗龙文等人分戌边地。
嘉靖帝念严嵩旧情，特宥严世藩一个儿子为民，回老家伺侯严嵩起居。
严嵩离朝后，没人再与自己谈玄论道，加之蓝道行又被处决，年已半花的嘉靖帝追念老严过去二十多年的赞玄之功，悒悒不乐。于是，他把已经升任首辅的徐阶叫来，表示自己要退居二线，当太上皇，准备在西内一心拜道。徐阶极陈不可，谏劝皇帝不要搁挑子。“好，既然如此，你们一定要与朕同辅玄修，努力崇道，日后再有谁敢上疏劾奏追论严嵩、严世藩父子，朕一定下令把他们与邹应龙一同送斩！”
远在江西南昌的严嵩闻此，知道帝意仍有念旧之情，就趁嘉靖帝生日，在铁柱宫使道士建醮为皇帝祈祷，亲自撰写《祈鹤文》献上。皇帝优诏答之。见有回信，严嵩登老二上肚脐，上疏乞求皇帝准许自己被流放的子孙回南昌能给自己养老。对此，嘉靖帝没有答应。
事已至此，严世藩也不消停，惹事不断。他被明廷下令流放雷州，但是，刚刚行至半道，他便擅自回返，在南昌大兴土木，修建豪华别墅。更危险的是，他常常酒后宣言：“哪天我得以重起，一定要拿下徐老头的人头，邹应龙也跑不掉！”
徐阶得闻，忽起斩草除根之心。严嵩听见儿子如此放话，叹息对左右讲：“此儿误我太多。圣恩隆厚，我得善归。此儿虽被遣戍，遇赦也可得归。今忽忽大言，惹怒圣上与徐阶，我严氏家族，横尸都门那天，想必不远矣！”
合该有事。袁州推官郭谏臣因公事路过严嵩府宅，看见一千多工匠正大修府邸。严府仆人作监工，望见郭推官根本不起身见礼。郭谏臣大怒，上状于御史林润。这位巡察御史先前劾奏过严嵩党徒，很怕日后严嵩父子重起遭到报复，见此状大喜，立刻添汕加醋，上奏严世藩在江西阴聚徒众，诽谤朝议，图谋不轨。同时，他还奏称小严聚数千人(一下把数目扩大几倍)以修宅为名，阴谋造反。
疏上，嘉靖帝大怒，命林润诏逮严世藩等人入主京审讯。
林润得令即行，一面下令捕人，一面又上奏疏，半真半假，把严世藩一案渲染得活灵活现：
(严)世蕃罪恶，积非一日，任彭孔为主谋，罗龙文为羽翼，恶子严鹄、严鸿为爪牙，占会城廒仓，吞宗藩府第，夺平民房舍，又改厘祝之宫以为家祠，凿穿城之池以象西海，直栏横槛，峻宇雕墙，巍然朝堂之规模也。袁城之中，列为五府，南府居鹄，西府居鸿，东府居绍庆，中府居绍庠，而(严)嵩与(严)世蕃，则居相府，招四方之亡命，为护卫之壮丁，森然分封之仪度也(喻指严氏父子僭越制度自以为王爷)。
总天下之货宝，尽入其家，(严)世蕃已逾天府，诸子各冠东南，虽豪仆严年，谋客彭孔，家资亦称亿万，民穷盗起，职此之由，而曰：“朝廷无如我富”。粉黛之女，列屋骈居，衣皆龙凤之文，饰尽珠玉之宝，张象床，围金幄，朝歌夜弦，宣淫无度，而曰：“朝廷无如我乐”。甚者畜养厮徒，招纳叛卒，旦则伐鼓而聚，暮则鸣金而解，明称官舍，出没江广，劫掠士民，其家人严寿二、严银一等，阴养刺客，昏夜杀人，夺人子女，劫人金钱，半岁之间，事发者二十有七。
而且包藏祸心，阴结典楧，在朝则为宁贤，居乡则为(朱)宸濠(喻指严氏父子想效仿朱宸濠造反)，以一人之身，而总群奸之恶，虽赤其族，犹有余辜。严嵩不顾子未赴伍，朦胧请移近卫，既奉明旨，居然藏匿，以国法为不足遵，以公议为不足恤，(严)世蕃稔恶，有司受词数千，尽送父(严)嵩。
(严)嵩阅其词而处分之，尚可诿于不知乎？既知之，又纵之，又曲庇之，此臣谓(严)嵩不能无罪也。现已将(严)世蕃、龙文等，拿解京师，伏乞皇上尽情惩治，以为将来之罔上行私，藐法谋逆者戒！
从实而言，严世藩死有余辜，但徐阶玩的这种政治手腕，也过于阴狠，非要编造莫须有的通倭谋逆大罪来搞严家，其目的就是一定要牵连上严嵩。谋逆大罪，株连抄家发泄绝对难免，徐相爷非要置政治对手老严和小严永世不得翻身。对于这一点，明朝当时及日后多有人不平，认为徐阶的手段，使严世藩的罪名不能服天下人心，刑非所犯，于理不称。
天道好还。日后徐阶下台，又被“后浪”高拱怨恨算计，以其二子乡间怙势犯法为由，把徐老头二个儿子罚往边地“劳改”，老徐自己差点与老严前辈殊途同归，在风烛残年孤独而终。幸亏不久张居正把高拱又拱下去，老徐才得保令终。
作为徐阶弟子的张居正还算厚道，他当政后，派江西地方官员收拾严嵩枯骨，修坟安葬。严爷再怎样也是堂堂大明一代宰相，总不能和要饭花子一样的死法、葬法。
嘉靖一朝，正因为无大奸太监，方显严嵩柄政的“罪恶”。其实，许多军国大事方面，嘉靖帝乾纲独断，最大的坏事都就是皇帝拍板，严嵩依惟而已。
