隋炀帝艳史中说杨广喜欢过的女人至少有5个：萧后、崔氏女、陈婤、宣华夫人、容华夫人。其中对萧后是“宠敬”，对崔氏女是“爱幸”，对陈婤是“绝爱幸”，对姿貌无双但早逝的宣华夫人更是“深悼之”。
当然，杨广对萧后的宠敬在很大程度是为了应付母亲独孤后的需要，以及出于对正妻这个身份的尊重。地球人都知道，独孤后的悍妒之心简直就是世间少有，不只不准自己的丈夫临幸别的女人，朝中大臣宠爱自家小妾也要遭到她的谗毁，亲生儿子宠爱小妾同样要遭到她的诋毁。当杨广还是晋王的时候，为了把亲哥哥杨勇从太子之位上挤下来，自然要想着法子讨好母亲，于是表面上就装作只宠正妻萧妃一个，只和萧妃生孩子，但背地里照旧姬妾无数。
不过风流归风流，杨广没忘了要打好掩护，府中的姬妾就算有了孩子也不养。所以尽管有个善妒的母亲在一旁虎视眈眈，但演技影帝级别的杨广还是很轻松地在母亲面前表现出了一副乖巧儿子、忠贞丈夫的模样，相比之下，宠爱小妾云昭训、庶子多多的杨勇就非常不得母亲的欢心。
等太子之位一到手，悍妒的母亲也死了，杨广总算是松了一口气，对萧妃大不如以往，而正值盛年的萧妃也早在开皇6年生下南阳公主后就再也没有生育过，杨广的宠妃宠妾却日渐增多。登基后更不用说，杨广完全是撒开了欢地肆意挑选各种美女充实后宫，又重新设立了当初独孤后撤掉的三夫人、九嫔等高品级的嫔妃，后宫中有名分的嫔妃就有120人，还有无数打扮得漂漂亮亮的承衣刀人侍奉左右。至于被杨广“宠敬”的萧后，面对丈夫越来越荒唐的举止想劝也不敢劝，只能咽下百般愁苦，做了一篇《述志赋》聊以自 慰。
而成功坐上龙椅的杨广，不仅对萧后的宠爱变得淡薄了，对萧后的弟弟、萧后所生的嫡子们也越发不待见。
如萧瑀作为萧后的亲弟弟，隋朝的国舅，却经过几次加封才得了个正三品的银青光禄大夫的散官，对比一下兰陵公主的驸马柳述，不过是因为娶了个公主，一下子就得到了从一品的开府仪同三司这样的优厚待遇。国舅萧瑀还经常被杨广斥责疏远，被贬为河池郡守的时候，甚至当天就被赶出了京城。
就连杨广的嫡长子杨昭在长安受封太子时，杨广连长安都懒得回，只派了个使者前去册封。后来杨昭想要在父亲身边多留一段时间，多次上表请求，杨广都没答应。
而萧后的次子杨暕在哥哥元德太子死后，竟然遭到了父亲的猜忌。杨广唯恐杨暕会对自己不利，给他配备的人员都是又老又弱，后来宇文化及造反，杨广听到外面兵荒马乱的声音，竟然对萧后说：“是不是杨暕那个不孝子要逼宫了？”
相比之下，杨广的宠妃崔氏女虽然地位不及萧后尊贵，但是她的家人却因为她深得杨广宠爱，不费吹灰之力便得到了和萧家人一样的待遇。
崔氏女是崔君绰的女儿，因为受到废太子杨勇的牵连，隋文帝亲自下诏将崔君绰等人杖责一百，妻子儿女家产田宅全部充官，崔氏女也因此被没入掖庭，从而得到了杨广的宠爱。后来杨广登基后又重新下了份诏书，说崔君绰、萧严等人的罪行罪不及子嗣，免除了他们家人的惩罚，准许他们重新入仕。对此，《隋书》明确记载萧严是因为中宫萧后的原因，崔君绰则是因为女儿“入宫爱幸”——因为杨广对崔氏女的宠爱，崔家才得到了这份殊荣。
不过在隋炀帝艳史中，因为女儿姐妹受宠而给整个家族带来了飞黄腾达的远不止崔家一家，陈朝的那群宗室子弟们也是因为姐妹得宠，从而被杨广爱屋及乌。
话说这些陈朝公主也是一群可怜人。陈朝灭亡后，陈宣帝和陈后主的女儿们统统作为战利品被送往隋宫，由于公主数量众多，隋文帝干脆来了个陈女大派送：要么是赏赐给功臣做妾，比如将陈宣帝的女儿一个赏给贺若弼，一个赏给杨素;要么是直接没入掖庭为宫婢，如果被皇帝临幸了就成为后宫嫔妃，比如隋朝后宫中大名鼎鼎的宣华夫人就是陈宣帝之女宁远公主，还有一个弘政夫人，也是陈宣帝之女临川公主;剩余的还分配到了各个皇子亲王的府上，比如杨广的一个小妾就是陈后主的第四女广德公主，秦王杨俊的府中也有一个陈嫔，即陈后主第五女临成公主。
杨广对广德公主宠不宠爱不得而知，但在一群陈朝公主中，杨广最宠爱的有两人：宣华夫人与陈婤。
