李白最终陷入落魄，要从安史之乱说起。公元755年，安史之乱爆发时，李白避居庐山。这场唐朝的内乱原本没李白什么事儿，但怪就怪他的名气太大了。唐玄宗在马嵬坡遭到兵变，被逼无奈杀了杨国忠与杨贵妃。此后，唐玄宗与太子李亨分道扬镳。玄宗入蜀，李亨则在灵武自即帝位，是为唐肃宗，遥尊玄宗为太上皇。
要说这李亨登基也不合法，但玄宗先遭安禄山叛乱，又在马嵬坡被逼杀掉贵妃，已经是心灰意冷，对自己突然被太子尊为太上皇，也就没说啥。但他的儿子可就不这么想了。玄宗第十六子永王李璘打着靖难的旗号，招兵买马，挥师东下，其实是趁机扩大地盘，想借乱世当皇帝。
杨采华分析说，唐玄宗在奔西蜀途中发了诏书，下放军国大权至诸亲王及地方军政一把手，让其招兵买马、扩充军队平息叛军。太子李亨却不听玄宗诏令，拥兵陇西，僭登帝位抢班夺权。而永王李璘出师东巡之时，得知李白隐居庐山，遂数次下达聘书，李白几经犹豫，终于决定下山入其幕府。在永王东巡时，李白写下《永王东巡歌》十一首。永王不久即败北，李白也因之被捕入狱。
李白被下狱后，在一首诗中说“空名适自误，迫胁上楼船”，意指自己是被永王胁迫的。杨采华认为，李白从军永王说不上是内心的妥协，这是他顺着中丞宋若思、右相崔涣两位大臣给他搭的梯子走下台阶的举措。这首诗作于李白服刑中，他只能按着宋、崔两人的“启发”继续把假话说下去。否则，新的牢狱之灾又将等待着他。李白在《致贾少公书》说：“王命崇重，大总元戎。辟书三至，人轻礼重。”由此可见，李白从军永王时，很享受“三顾茅庐”的待遇，并不存在“胁迫”一说。
永王败北后，右相崔涣宣慰江南，收罗人才。李白上诗求救，驻扎在浔阳的中丞宋若思把李白从监牢中解救出来，并让他参加了幕府。崔涣为“永王事件”牵连的人开脱罪名，却得罪了同僚和下属，被罢去右相之职，并贬为太守。接替崔涣办理“永王事件”的官员李峘，将已结案件推翻重审，并重新拘捕释放人员。宋若思让李白先藏起来，不久，藏在潜山县司空原旧居的李白被逮捕，后被判流放夜郎。
云贵高原东北部莽莽苍苍绵延千里的大娄山脉中段，有一个县城叫桐梓。在春秋战国时期，桐梓即属于古夜郎国鳖国范畴，秦汉时期属于先后设置的夜郎郡领域，史学界把桐梓称为“唐宋夜郎”。桐梓有个夜郎坝，四围皆山，其峰其峦，错落连环，是个海拔600多米的山间盆地，目前是夜郎镇镇政府所在地。
李白是否到过夜郎？学界至今仍有争议。有人认为李白在流放途中就接到赦免的诏书，有人则认为李白曾在夜郎居住过3年。贵州当地研究李白的学者黄光荣对记者说，桐梓留存有不少和李白有关的地点，如太白诗碑、太白碑亭、百碑台、太白书院、太白望月台、谪仙桥等。
李白中途遇赦得返，并未到过夜郎的观点，最早见于北宋人曾巩所写的《李白集三十卷序》。曾巩根据李白的诗、书、自叙分析李白遭流放后，“上峡江，至巫山，以赦得释”，并未到达夜郎。主张李白“未至夜郎”的一个主要依据是李白本人有《流夜郎半道承恩放还》一诗。
黄光荣认为，李白确实到过夜郎。仅清王琦编注的《李白全集》收集的李白诗，就有32首是关于夜郎的，如“三载夜郎还，于兹炼金骨”、“传闻赦书至，却放夜郎回”、“万里南迁夜郎国，三年归及长风沙”、 “我寄愁心与明月，随风直到夜郎西”等。
公元759年，李白被赦免之时，已经58岁。两年之后，季广琛出任宣州刺史，他与李白曾同为永王幕僚。在官军收复宣州的鼓舞下，已经60岁的李白不顾年事已高，决定再次投军扫除东南之乱。他来往于金陵、宣州间，有《饯李副使藏用移军广陵序》、《宣城送刘副使入秦》诗。李白欲投李光弼军未果，写有《闻李太尉大举秦兵百万出征东南，懦夫请缨，冀申一割之用，半道病还，留别金陵崔侍御》。此次投军未果，既可说是怀揣报国之志的浪漫主义诗人李白的最后一次自我请缨，也可说是李白从政之路的最后一次尝试。随后，李白即返回当涂县其族叔李阳冰处，并于第二年卒，葬今安徽省马鞍山市当涂县龙山，后移墓地于青山。
