杨贵妃曾两次被驱逐出宫的原因是她公然发泄了对唐明皇“出轨”的不满。不过，文献中还有一个很特别的传说，即杨贵妃被逐是由于她自己的偷情。
这个离奇的传说，最早来自张祜的《宁哥来》一诗：“日映宫城雾半开，太真帘下畏人猜。黄幡绰指向西树，不信宁哥回马来。”
宁哥，就是宁王李宪，原名成器，他是唐玄宗李隆基的哥哥，能诗歌，通晓音律，尤善击羯鼓，这一点和李隆基相同，另外他还擅长吹笛子。
这首诗说，阳光透过蒙蒙云雾映照在宫城之上，杨贵妃站在窗帘之下想心事，但是又怕被人猜到。偏偏宫里的乐工黄幡绰猜到了，他往西边一指说：“宁王来了！”杨贵妃似信非信地朝西边看，宁哥是不是真的回来了？
这首诗暗示杨贵妃与宁王有私情，但宁王李成器开元二十九年(741年)就死掉了，根本没见过杨贵妃，这一点明代就有人指出了。
退一步说，就算杨贵妃不满足于老夫少妻的生活，也应该找个年轻一点的不是吗？宁王比李隆基还大六岁，是李隆基的哥哥，本来应立为太子，因李隆基平乱有功，成器审时度势，让出了储君之位，因称“让皇帝”。
就算他生前见过杨贵妃，但杨贵妃怎么可能对这个老头子有意呢？
《杨太真外传》换了一个说法，说杨贵妃有一次“窃宁王紫玉笛吹……因此又忤旨，放出。”这个说法让人感到莫名其妙：仅仅是偷吹了宁王的笛子怎么就“忤旨”了呢？
清初褚人获在《隋唐演义》中做了进一步的想象和发挥：一次宴会，唐玄宗宴请诸王，席间宁王用他的紫玉笛吹奏一曲，宴会后诸王散去，笛子落在了席间，杨贵妃顺手拿过宁王吹过的笛子吹奏，不巧被唐玄宗看到了，就问她：“汝亦自有玉笛，何不把它拿来吹着？这支紫玉笛是宁王的，他才吹过，口泽尚存，汝何得便吹？”
贵妃把玉笛放下回答：“宁王吹过已久，妾即吹之，谅亦不妨。还有人双足被人勾踹，以致鞋帮脱绽，陛下也置之不问，何独苛责于妾也。”这里所说的“双足被人勾踹，以致鞋帮脱绽”，指的是唐玄宗与梅妃偷情的事。唐玄宗勃然大怒，立马派高力士把杨贵妃扫地出门。
这样说来，还是由于杨贵妃的嫉妒、出言不逊，才冒犯了唐明皇。
绕了一圈，又回到原地了：“出轨”的是唐明皇，无论第三者是梅妃还是虢国夫人，反正杨贵妃不能容忍，才导致了被遣送回家。
从文献记载和情理上看，这个说法比较可信。
而“红杏出墙”的说法根本上是栽赃杨贵妃，维护李隆基，不可信。
这里顺便讨论一下，杨贵妃和安禄山有没有暧昧关系？
据《资治通鉴》的记载，安禄山一次过生日，唐明皇和杨贵妃都赐了厚重的礼物。
三天后，杨贵妃把安禄山召入后宫做“洗儿会”，用一件锦绣做的大襁褓裹住安禄山，让宫人用彩舆抬着玩耍，后宫一片欢笑之声。唐明皇听到后亲自往观，不但不生气，反而很高兴，又赐给了杨贵妃一些“洗儿钱”，也重赏了安禄山，从此安禄山“出入宫掖不禁，或与贵妃对食，或通宵不出，颇有丑声闻于外，上亦不疑也”。
这件事情，新旧《唐书》都没有记载，而司马光修《资治通鉴》，采用的是晚唐五代的笔记。但这完全是捕风捉影、无中生有之辞，切切不可信。
在古代，皇上可以三宫六院，但他的女人却不容别人染指，能出入皇帝后宫的男性都得阉割，正所谓“卧榻之侧岂容他人酣睡”。更别说杨贵妃是他的专宠，不可能跟别人有染。
从可信的史料分析，杨贵妃与安禄山见过面是有可能的，但一定是在公开场合，而且一定是与唐玄宗同在的场合。
所谓“洗禄儿”“与贵妃对食，或通宵不出”，这样的描述完全是栽赃抹黑。
正如清代著名学者袁枚所指出的：“杨贵妃洗儿事，新旧《唐书》皆不载，而温公《通鉴》乃采《天宝遗事》以入之。岂不知此种小说，乃委巷谰言……何足为典要？”他还写诗说：“《唐书》新旧分明在，那有金钱洗禄儿？”(《随园诗话》卷二)
《长生殿》要为杨贵妃洗脱污秽，当然完全不采纳“洗禄儿”之类的无稽之谈。
不仅如此，为了彻底洗脱杨贵妃与安禄山有私情的嫌疑，作品连安禄山拜见唐明皇、杨贵妃时“先母后父”的记载也不收录。所以在《长生殿》中，安禄山只是远远偷窥过、垂涎过杨贵妃的美貌，而杨贵妃则根本没见过安禄山。
在文学史上，元曲四大家之一白朴的杂剧作品《唐明皇秋夜梧桐雨》是一部受到广泛好评的作品。
洪昇对这部作品的评价也很高，而且从中汲取了一些素材。但《梧桐雨》的楔子中，有“贵妃娘娘与安禄山做洗儿会”的场面。对于这样的描写，洪昇坚决摒弃不用。用他自己的话说，叫“一涉秽迹”，“绝不揽入”。而洪昇对唐玄宗的二三其德、沾花惹草，都给予了无情的曝光和谴责。
当然，唐明皇最大的负心还表现在马嵬事件中最终牺牲了杨贵妃的生命而保全自己。
