紫禁城向来是无上皇权的象征，是众多野心勃勃之人魂牵梦绕的圣地。但是明武宗却不喜欢这四四方方的深宫内院。他生性好动，崇尚自由，所以他继位之后，就废除了尚寝官和文书房侍奉皇帝的内官，以减少对自己行动的限制。对于每天的经筵讲座，明武宗更是找一切借口回避逃脱，最后索性连早朝也不去了。
明武宗即位的时候刚刚十五岁，还是个少年皇帝，可是却很有主见。大臣们为了规劝他好好上朝理政，联名上奏，甚至以罢官相逼。可是明武宗装出一副虚心受教的样子，认真地听取大臣的意见，并亲切地安抚他们。可是大臣们一走，他依然我行我素，丝毫没有改观。久而久之，大臣们也就无奈了，加上明武宗虽然贪玩，却不至于做出什么伤天害理之事，大臣们也就任由他去了。
因为不喜欢住在宫中受人约束，叛逆的明武宗就谋划着搬出宫去生活。于是，他就在皇城西北为自己建了一所豹房新宅。豹房其实并不是武宗新创，以前的贵族也有建豹房的。之所以叫做豹房，是因为其中豢养了诸如豹子之类的珍奇猛兽。明武宗的豹房始建于正德二年(1507)，至正德七年(1512)共添造房屋二百余间，耗银二十四万余两。豹房建好之后，明武宗就直接搬了进去，从此便更不愿意回宫了。所以，明武宗的豹房并非单纯意义上的游乐场所，而是供其生活和处理朝政的行宫。
这所精心修建的豹房构造复杂，形同迷宫，里面除了豢养大量猛兽之外，还建有妓院、校场、佛寺等等。所以，有人认为当时的豹房才是真正的政治中心和军事总部。豹房之中除了野兽、僧尼、歌伎之外，还有很多武宗的义子。广收义子也是武宗的一个怪癖，他在位短短的十几年间，曾收有几百个义子，甚至在正德七年(1512)一次就将一百二十七人改赐朱姓，真是旷古未闻。
在众多义子当中，武宗最宠爱的是钱宁和江彬。钱宁自幼被卖给一个姓钱的太监，他古灵精怪，很善于逢迎，又擅长骑射，很得武帝欢心。由于武帝经常和钱宁形影不离，官员们去豹房找武帝，只要看到钱宁出来，就知道武帝肯定在里面。另一个义子江彬原本是一名骁勇善战的边将，只因在一次觐见时大谈兵法，深得武帝赞赏，便被收为义子，留在身边。有一次，武宗在豹房里和老虎玩，不知怎么回事，老虎突然扑向武宗。正在这千钧一发之际，江彬不顾生命危险，挺身救驾，制服猛虎，由此更得武宗信赖。
