宋庆元二年(1196年)，由于朱熹勾引两个尼姑当自己小老婆的事情被败露，监察御史沈继祖奏本，指控朱熹十罪，并奏请斩首。
御史沈继祖在皇帝和众大臣面前，当面谴责朱熹：“朱熹在明处把自己打扮成无人欲的神。
有权时，在台州惨忍地拆散唐仲友、严蕊一对情侣，枉法强权推行‘灭人欲’主张。可笑、可恶的是朱熹自己暗中色欲横行，在武夷山调戏寡妇，在京中勾引二位尼姑同为妾。明处却要天下人‘灭人欲’，口是心非，阴阳两面。同时攻陷忠臣，颠倒黑白，为所欲为，所作所为，天下人无不痛恨！无不耻笑！其学该斥为伪学，其人该斥为伪师，罪当斩首。”
最后，皇帝宋宁宗念朱熹当过自己老师之情，只将阴阳两面的朱熹斥为伪师，其学斥为伪学，将朱熹逐出朝廷，遣送回家。朱熹的得意门生蔡元定被逮捕，解送道州。一时朱熹理学威风扫地。
已66岁的朱熹，第二次斥为伪师，第二次被逐出朝廷，赶回老家。
此次因积怨甚多，恐被人所杀，有家难回，只得离家避走，凄凄遑遑奔赴闽赣边境的山区小县江西新城县(现黎川县，位武夷山脉西麓)，在深山峻岭中的福山寺，拜佛讲学，隐匿不出。
两个已怀身孕的尼姑也随后跟至，但福山寺处于四面高山环抱之中，十分偏僻，朱熹只好将两个尼姑安置在山下村庄居住。
两个尼姑也不时进山给朱熹送粮送菜，朱熹很感动，朱熹拉着尼姑的手，面对着冷冷清清的大山深谷，悲戚伤感，想过去在京城何等风光显赫，望今朝蛰居深山，有家难归，站在山头，眺望福建老家，不由地写下《题福山寺》，诗云：“迢迢百里外，望望皆闽山。皎日中天揭，浮云也自闲。”朱熹此时虽是野鹤闲云，但也不失一段浪漫的黄昏恋。
两个尼姑后来也分别给朱熹生下了后代。朱熹在深山老林中，隐匿了几年，后因病不得不回到福建建阳老家。两个尼姑及尼姑所生之子不曾带回建阳，于是江西新城县留下朱熹两支后代，该县留有朱熹词堂和族谱。庆元六年(1200年)三月初九，朱熹终于在建阳家里忧郁悲凉而死，终年七十一岁。
