武则天一生给高宗李治生了四个儿子，长子李弘，次子李贤，三子李显，四子李旦。长子李弘在655年被封为代王，次年，原太子李忠被废黜，李弘就成为了皇太子。可是这个李弘二十三岁就英年早逝了，他的弟弟李贤便接过了太子之位。这个李贤是武则天四个儿子中最聪慧的，据《唐书》记载，他小时候读书便能过目不忘，而且举止端庄，很受高宗喜爱。李贤当太子之后，便召集了一帮学者为《后汉书》作注释，史称“章怀注”，因此，李贤也被人称为“章怀太子”。李贤虽然学识渊博，却并不热衷政治，一心只想着书立说，这让武则天有些不满。
仪凤四年(679)五月初三，武则天的宠臣明崇俨被盗贼杀害，此人精通巫术，并且风姿英俊，和武则天的关系极为暧昧。在搜捕盗贼的过程中，武则天突然得到密报，太子的一个家奴赵道生主动自首，说自己受太子指使杀死了明崇俨。武则天立刻派人搜查太子府邸，竟然找到了三百余副甲胄。于是，太子李贤便以谋反罪被捕入狱。对于太子造反一事，高宗始终持怀疑态度，因为他很看好李贤，所以便下令三司会审，但最终也没能帮太子洗脱罪名。太子李贤最后被废为庶人，流放到了巴州。
长子夭折，二子又被贬为庶人，三儿子李显便被立为了太子。弘道元年(683)，病恹恹的李治终于驾崩了，太子李显继承了皇位。他身上遗传了父亲的善良和软弱，所以即位之后，很多事情都要请示母后才能作出决断，朝政实际上依然被武则天把持。
后来，他渐渐不满于充当母后手中的操线木偶，便试图利用外戚的势力，组建自己的势力集团来和武则天抗衡。当时，裴炎受高宗遗诏辅政，李显觉得他处处掣肘，便准备提拔韦皇后的父亲，自己的岳丈韦元贞当侍中。裴炎坚决反对，李显大怒，便冲着裴炎吼道：“我是皇帝，我要把天下给韦元贞都行，更别说一个小小的侍中了！”
裴炎无言以对，便将此话原封不动地转述给了武则天。武则天看到李显如此愚蠢，还气焰嚣张，便将他贬为庐陵王，赶出了长安。从此，李显便开始了漫长的软禁生涯。
