“后宫佳丽三千人，三千宠爱在一身”，这是白居易描写杨贵妃的千古名句。杨贵妃与唐玄宗的爱情故事千百年来广为流传，不论是新旧《唐书》等官方记载，还是民间笔记小说、文集，关于她的传闻众说纷纭。在《中国野史大观》中就有关于她与安禄山私通的记载。
安禄山，是营州地方的杂种胡人，小名轧荦山。他的母亲阿史德氏，是突厥族女巫，没有子女，就向轧荦山祷告，山神答应了她的请求，于是她就生了安禄山。安禄山出生的那天夜里，红光四射，野兽四鸣，善于望气的人看见有一颗妖星光芒四射地落在他们的帐篷里。当时张仁愿派人搜查他们的帐篷，没有收获，就把其他人不论老少都杀掉了。安禄山被人藏了起来，没有被杀。各种奇异怪兆不可胜数，他母亲感到很神奇，就给他取名轧荦山。他年幼时父亲就死了，随母亲住在突厥族里。他母亲后来嫁给了突厥将军安波注的哥哥安延偃。
安禄山凭借奸诈残忍，诡计多端，并善于揣摩人的心意，一路升迁，最终被授范阳长史兼御史大夫，成为唐明皇的宠臣。但是这个胡人，却是心术不正，既想夺下大唐江山，又想染指贵妃杨玉环。
他知道，要让唐玄宗放松警惕，他必须要做出一副憨厚样，只有这样，才能让唐玄宗对他与杨贵妃的相处不致生出醋意，于是他就利用自己是蛮夷之人这一点大做文章。
一天，安禄山前往御花园游览，唐玄宗和皇太子都在花丛的树荫下纳凉，老远就看见安禄山便挥手招呼他过来。安禄山快步上前拜见唐玄宗，故意不拜太子。唐玄宗说：“卿怎不拜太子？”安禄山装傻说：“太子是哪一级的官爵，让臣拜他像拜陛下那样？”明皇笑道：“朕千秋万岁(指死)之后，代我而做天子的，怎能按官爵论高低呢？”安禄山说：“臣是下愚之人，以为臣等应尽忠报效的除了陛下之外，不应再有别的人，因此冒犯了太子的威严。”明皇看了太子一眼说：“这个人如此老实憨厚，实在是可爱极了。”
这时候杨贵妃也趁着风和日暖，乘坐香车徐徐而来，手指安禄山问道：“这个人是谁？”明皇告诉她说：“他是平卢节度使，姓安名禄山，原本是塞外之人，雄壮有力，勇猛无敌，朕爱他忠诚直率，留京师跟在身边。”继而又笑着说：“禄山曾经是张守珪的养子，今日侍候朕，也就像是朕的养子。”杨贵妃说：“诚如陛下所告谕，这个人可说是个好孩儿。”明皇笑道：“妃子以为是个好孩儿，那就把他当儿子抚养吧。”杨贵妃眼睁睁地看了安禄山好半天，笑而不答。
禄山听了这话，赶忙起身走到阶前，叩拜杨贵妃说：“臣儿今祝母妃千岁。”明皇听了，笑着说道：“禄山你失礼了，要拜母亲，必须先拜父亲才是。”禄山对明皇磕头作揖说：“臣本是塞北胡人，胡人的习俗是母在先父在后。”明皇与杨贵妃都说：“从这件事也足见他心直口快，有啥说啥。”这时左右的杯盘已经摆好，三人手执金杯，开怀畅饮，杨贵妃微醉，更增添了几分娇冶艳丽、倾城倾国之色，流露于杯酒之间。
安禄山早就听说杨妃的美貌，今日得亲睹芳容，欣喜之情不可言状，这回和妃子认做母子，将来聚的日子无尽无休，因此一个坏心眼，就乘着醉意如潮涌起。杨贵妃本来是一个水性杨花的女人，不管漂亮与否，只爱惜少年，喜欢壮士，今日见安禄山膘肥体壮，鼻梁高隆，英雄气概可掬，因此一个不良的念头也随着春水荡漾而来。二人淫心邪念，一拍即合，宫廷的秽乱，此时已露出端倪。
有一次安禄山进宫后，杨贵妃用锦绣做成的大襁褓裹住安禄山，让宫人用彩轿抬起，欢呼声震天动地。玄宗派人去问在于什么，去的人报告说：“是贵妃为儿子安禄山洗身，洗好了之后又把他裹了起来，所以欢声动天。”如此荒唐的事安禄山都能忍受，赢取贵妃芳心对他来说当然不难。
这段记载也见于《太真外传》中，因此在《红楼梦》中有一段描写秦可卿卧室时的文章有“伤了太真乳的木瓜”之说，可见民间广泛流传其与安禄山的秽闻，但这些都不见于正史记载。想象一下在后官森严的封建盛世，出现这种情况也不太可能，因此多数历史学家也不赞同这种说法，其真相还需进一步的考证。
