慈宁宫始建于1563年明朝嘉靖年间，是嘉靖为母亲蒋太后修建的，最初的时候不叫慈宁宫，叫做仁寿宫，万历年间的慈圣李太后，万历皇帝的郑皇贵妃、昭妃等都曾经住过这里。后来成为了安置先皇妃子的地方。
清军入关，沿用了明朝习俗，修缮了慈宁宫，孝庄太后成为清朝入驻慈宁宫的第一人，从此之后慈宁宫就成为太后太妃的专用住所，也就是现在养老院的意思。
孝庄太后，博尔济吉特氏，名叫布木布泰，是孝端文皇后的侄女，12岁的时候嫁给皇太极为妻，是顺治帝福临的生母，康熙皇帝的奶奶，孝庄太后倾其一生辅佐了顺治，康熙两代明君。顺治登基后，孝庄成为大清朝第一位太后，顺治在位十八年间，励精图治使农业得到了恢复，稳定了清朝政局。顺治驾崩后，康熙帝玄烨继位，孝庄太后成为太皇太后，又继续辅佐康熙，是一个很有能力的政治家。
顺治十年，孝庄太后住进慈宁宫，这一住就是四十多年，期间，顺治帝在太后过生日的时候还写了三十多首诗让母亲高兴。后来康熙继位后，还经常前往慈宁宫看望孝庄太皇太后，在康熙二十六年的时候，孝庄太皇太后病危，玄烨曾寸步不离的陪在身边，甚至为了延长孝庄太皇太后的寿命还举行了祭祀仪式，愿意用自己的寿命换区祖母的健康，孝庄太皇太后去世后，康熙痛不欲生。
从此之后，就没有人敢住在慈宁宫了，历朝太后太妃都已身份低压不住这个地方为借口，不愿住进去。究其原因，曾经住过慈宁宫的太后说，每到晚上慈宁宫都有奏乐的声誉，墙上还有宫女太监成队走过的影子，并且还有一口井，白天往下看是一些石头杂草一类的东西，晚上看下去却是清澈的水，水中的倒影却不是自己的脸。这样的传言一传百百传千，很快就流传开来，从此之后再也没有人敢住在慈宁宫了。
且不论慈宁宫有异象这个传言的真实性有多少，但是自从孝庄太后之后，慈宁宫确实再也没有太后或者太妃长期居住了，最后慈宁宫成为了大宴，受册等一些重要典礼的地方了。慈宁宫闹鬼的事情至今也是一个谜。
