这样有才学又贤德的女子注定不会是皇帝心中的永远。班婕妤专宠多年，但仅生有一子，且生下数月后就夭折了，年长色衰的班婕妤渐渐不再受到成帝的宠爱。天性好色的成帝久居深宫，对后宫中百依百顺的嫔妃失去了兴趣，经常外出寻找新鲜刺激。鸿嘉三年(前18)，成帝登基的第十五年，历史上赫赫有名的赵飞燕、赵合德姐妹出现在他的眼前。
在一次微服巡游中，成帝到阳阿公主府游玩，当时大贵族的府邸里面通常会养着大量的歌女舞姬供人取乐，成帝的好运、大汉的霉运就这样悄然降临，西汉的混乱局面在曼妙的歌舞之中不可收拾。
在公主府上，成帝对能歌善舞的赵飞燕一见钟情，当即将她带入宫中。飞燕入宫之后，趁着皇帝专宠，又让成帝把同为歌女的妹妹赵合德也召进后宫。为了使成帝不致移情别恋、另寻新欢，这两位出身卑贱的歌女开始残害后宫中的妃子，最先下手的目标是许皇后。只有把皇后除掉，才能控制后宫，从而登上后宫至尊的宝座。
成帝宠爱赵氏姐妹后，对班婕妤更加冷淡，不再听她规劝，而是任性地纵情声色，甚至将定期到皇后宫中问候的礼节都丢到脑后。见识短浅的许皇后怨愤之下听信亲姐姐的建议，在宫里设坛诅咒怀孕的王美人等人。正在想方设法陷害皇后而无从下手的赵氏姐妹得知后，当即在成帝面前告了许皇后一状。
成帝大怒，废掉许皇后，并把皇后的姐姐处死。扳倒了许皇后，赵氏姐妹仍不满足，她们诬告班婕妤也参与了此事，想借此机会将这位虽不再受宠，但仍然很受成帝尊敬礼遇的才女一并除掉。
成帝对这位生性高洁的女子了解很深，所以尽管赵氏姐妹言之凿凿，成帝还是半信半疑。他思来想去不知如何是好，最后干脆亲自去问班婕妤。班婕妤回答得光明磊落：“臣妾知道死生有命，富贵在天，天天修身养德还没有得到福分，做那些奸邪的事情就更没有指望了。如果世间真的有鬼神，那鬼神怎么能够听信谗言咒语呢？要是没有鬼神，那些诅咒又有什么意义？臣妾不但不敢做这样的事情，也不屑于做这类事情！”成帝见班婕妤说得恳切，很受感动，于是赐班婕妤黄金百斤，来弥补自己心中的羞愧和歉疚。可是猜疑的伤害又怎能是黄金所能弥补的呢？
班婕妤虽然暂时逃过一劫，但后宫已经是赵氏的天下，废掉皇后不久，成帝便立了赵飞燕为后。同时，为了讨赵合德的欢心，他又在皇后位置下增设昭仪之位，封赵合德为昭仪。班婕妤眼见后宫不再安宁，不得不为自己想一个全身之策，远离后宫的纷争。于是她上书成帝，请求前往长信宫去侍奉王太后。
被赵氏姐妹迷得神魂颠倒的成帝此时哪还顾得上一个韶华已逝的班婕妤，毫不犹豫便同意了她的请求。从此以后，班婕妤就在王太后的宫内过着平淡的生活。
班婕妤晚年时将无法排解的宫怨化作一首首清丽的诗词，一首《怨歌行》(亦称《团扇诗》)流传于后世，成为窥视宫廷怨妇的佳作，留给后世无尽的思绪：“新裂齐纨素，鲜洁如霜雪。裁为合欢扇，团团似明月。出入君怀袖，动摇微风发。常恐秋节至，凉飙夺炎热。弃捐箧笥中，恩情中道绝。”千载之后，清人纳兰性德为这位才女叹息道：“人生若只如初见，何事秋风悲画扇。等闲变却故人心，却道故人心易变。”
成帝死后，班婕妤按规矩被派到成帝的延陵做守陵宫女。延陵的阵阵松风伴她走完了孤独的残生
