绍兴十一年，秦桧获得取得高宗的支持，发动了政界军界大清洗。坚持反对和议的重要将领韩世忠因为岳飞竭力保全，被检举之后罢黜。岳飞本人则因“莫须有”的几个罪名关押起来进行审查。十二月二十九日，作为又一次达成的“和议”的祭品，岳飞被冤杀在临安的大理寺中，他的重要助手张宪和他的长子岳云均被斩首示众。
为防止最有战斗力的岳飞部的变乱，庸才张俊派遣更为庸才的田师中主持军务。田师中率领几千亲兵弹压军人，毒死了岳飞部中声望最高的牛皋，又对军队进行反复的清洗。宋朝廷将徐庆、于鹏、孙革、朱芾、李若虚、高颖、王良存、夏珙、党尚友、张节夫等诸多岳飞生前所信赖的文武幕僚纷纷予以迫害，不是贬责、革职，就是流放岭南。其中不少人最终屈辱的死于岭南荒芜之地。此外，只是短暂归属过岳飞管领，后长期在广南率领地方军摧锋军的韩京竟然也被整肃了。摧毁了这样一个曾在中原呼风唤雨撒豆成兵的作战集体之后，张俊等还嫌不够，又对岳飞部进行了缩编，兵力由原先的十多万人缩减到只有一半左右。
但这只是在军界的清洗，在政界的迫害之潮才刚刚开始。已罢去的宰执重臣如张浚、赵鼎(逼迫自杀)、王庶(贬死)等人自不必说，知宗正寺赵士褭(褭字应有单人旁，音同“鸟”)、徽猷阁待制刘洪道、大理卿薛仁辅、寺丞李若朴与何彦猷等诸多官员或贬死，或流窜，或夺职。更不提之前列过的名单中的张九成(权尚书礼部侍郎兼侍讲)、凌景夏、陈刚中(太府寺丞)、喻樗、樊光远(秘书省正字)、毛叔度(临安府司户参军)、元盥等等，连秦党援引入朝，甚至还弹劾过岳飞的何铸，因为担任岳飞案的一审法官之后秉公执法，力证岳飞冤屈，不从秦党的意，也被贬谪。还有很多人受到牵连，遭遇到非常悲惨的命运。这次清洗将政界、军界上下层中稍有良知，不愿屈从和议投降的人，可谓一网打尽。
在进行了清洗和裁撤之后，统治者们终于感觉到自己心安了。他们没有想到，岳飞的声望在荆湖地区却丝毫没有因为他的死亡而衰减。绍兴三十一年，金主完颜亮南征之时，中央政府派来搞动员工作的御史中丞汪澈，还能亲眼见到这只部队所保持的军事素养。
他当时“周行旧垒，见其万灶鳞比，寂无欢哗，三军云屯，动有纪律”，不禁叹到：“良将之遗烈盖如此！”诸军校们还向汪澈申诉他们故帅的冤屈，希望能为岳飞平反。汪澈保证一定会将他们的意见报告给中央政府之后，老兵们顿时哭声如雷，“为我岳公争气，效一死！”。
正所谓“国难思良将”，大兵压境之时，宋高宗开始后悔当初处置岳飞等人的决定，史料记载：“绍兴三十(一)年，北虏犯边，连年大举，上思曰：‘岳飞若在，虏军岂容至此。’即时下令修庙宇云。”他还对主持政务的主战派大臣陈康伯表达过悔意，言及自己早年“不修德”。而将这“不修德”列为罪名之一，最后杀害了岳飞的决策者，恰恰就是他自己。
岳飞死后过了好几十年，鄂州的老少百姓还张挂岳飞的遗像，奉祀不衰。他的旧部下属依然结庐而居，传习他们祖上的忠义故事和勇武的作风，从而有了一个独特的称呼“岳飞旧部”。在这个以英雄人物的名号联系起来的群体中，诞生了在绍兴晚期大放光芒的李宝，南宋中期的名将毕再遇(其父为岳飞卫士)，南宋晚期著名军事家孟珙(曾祖与祖父均为岳飞部下)等在南宋军事领域很有盛名的人才。甚至到了南宋晚期，主持荆湖防务的大臣李曾伯还向中央汇报说岳飞旧部的子弟多有骁勇之士，只是不愿意从军为兵，希望国家能多加鼓励奖掖。
