同年冬天，二次北伐开始，蜀军围陈仓，但是由于军粮耗尽再次无功而返。
次年的建兴七年(229)，三次北伐开始，诸葛亮遣大将陈式攻魏之武都、阴平。魏雍州刺史郭淮率军迎战，诸葛亮出建威，郭淮退军，亮取二郡。至此，后主诏诸葛亮复丞相职。然而这数次北伐中，依旧不见李严等一干东州和益州集团骨干人士的踪影，相信李严他们对此肯定是会有意见的。
李严在诸葛亮北伐期间，也没有闲着，他积极地策反原蜀汉降将、曹魏的上庸守将孟达，在其中的一封信中曾以这样的语句来招降孟达：“吾与孔明俱受寄托，忧深责重，思得良伴。”从这里可以知道，他一直以来对自己与诸葛亮并列为托孤大臣这一重要的政治地位，是时刻不忘的，也是时刻以此为己任的。但蜀汉前后三次北伐这样重大的行动，诸葛亮都没有一丝让他参与的做法，也是肯定让他十分不满的，因此他除了发出前面所说的“求以五郡置巴州”等等表示不满的信号外，还以另一种方式展开了对诸葛亮一直以来排挤他这一举动的反击。
他在一次给诸葛亮的信中“劝亮宜受九锡，进爵称王”，这和孙权劝曹操称帝相仿佛，但又很难说清楚他是想把诸葛亮摆上众矢之的位置，还是在嘲讽诸葛亮。总之不管怎么样，诸葛亮很清楚李严这一举动绝没安什么好心，因此明确表示自己不会上这个当：
吾本东方下士，误用于先帝，位极人臣，禄赐百亿，今讨贼未效，知己未答，而方宠齐、晋，坐自贵大，非其义也。若灭魏斩叡，帝还故居，与诸子并升，虽十命可受，况于九邪！《三国志·蜀书·李严传》。
不过诸葛亮这话却有点前后矛盾，前面他说“吾本东方下士，误用于先帝，位极人臣，禄赐百亿”，似乎对目前位极人臣的状况已经心满意足，但后来话锋却急转直下，称王受九锡，就成了有着自己封“国”的诸侯，乃是那个时代人臣所能达到的巅峰，诸葛亮在回绝了这一不知道是有着什么居心的建议后，在结尾时又偏偏来上了一句“虽十命可受，况于九邪”，这话就与他前面表现的心满意足的态度产生了矛盾。
这样的话出自诸葛丞相之口，与他历来被说成“谨慎谦恭”的风格是极不相称的，但我却以为这才是他个性和思想的真实写照，他虽然拒绝了李严的建议，但却不自觉地流露出了他自傲的乃至于漠视刘禅的态度。陈寿对他的评语，有几句是相当中肯的：
亮之素志，进欲龙骧虎视，苞括四海，退欲跨陵边疆，震荡宇内。又自以为无身之日，则未有能蹈涉中原、抗衡上国者。
——《三国志·蜀书·诸葛亮传》
这几句，一说出了诸葛亮的生平抱负是“进欲龙骧虎视，苞括四海，退欲跨陵边疆，震荡宇内”，二说出了诸葛亮对自己的评价，表现出他自视极高、当世不做第二人想的态度，实际上诸葛亮的一生，都是围绕着这几句话而展开的。
建兴八年(230)，魏大将军曹真三路攻蜀，诸葛亮拒之，随即准备第二年出军进行第四次北伐。这回他再次要求李严率军北上汉中受他节度，诸葛亮在后来列举李严罪状的表章中，对李严当时的反应是这样写的：
去年臣欲西征，欲令平主督汉中，平说司马懿等开府辟召。臣知平鄙情，欲因行之际逼臣取利也，是以表平子丰督主江州，隆崇其遇，以取一时之务。《三国志·蜀书·李严传》。
李严这个时候说“司马懿等开府辟召”，显然正如诸葛亮所言的那样是“欲因行之际逼臣取利也”，而李严以司马懿等开府辟召为借口向诸葛亮逼利，也并不是随便拿来就用的借口，他对诸葛亮开府而他没能享受同等待遇一直是耿耿于怀的，此刻他看似随便地举了这么一件事情做例子来逼诸葛亮，事实上正是表达了他北上汉中的条件，是要得到他这个和诸葛亮并列的托孤重臣所应该享受的待遇，也就是要和诸葛亮一样，可以开府选拔官吏。
诸葛亮当然是不可能答应也不会允许发生这样的事情的，但他也明白，在面对曹魏势力强大的压力下，与李严这样长期僵持下去并不是什么好事。而李严和他二人，虽然在权力斗争中互不相让，但在对维持蜀汉政权生存的这一根本点上，却是绝对没有分歧的。因此他做出了妥协，“表严子丰为江州都督督军，典严后事”，继续把江州一带保留给李严;而相对他的妥协，李严也作出了对应的姿态——“将二万人赴汉中”，同时接受诸葛亮的任命，担任中都护署府事《三国志·蜀书·李严传》。，并将自己的名字由严改为平。按那时的解释，平字含义大致为行事有序、平定乱事，这相当符合当时的形势。
李严终于去了汉中，在刘备死后首次与诸葛亮共事，看上去似乎诸葛亮和李严二人就此握手言和了。
建兴九年(231)春，蜀军在诸葛亮的统帅下第四次北伐，兵出祁山与魏军对峙。然而诸葛亮这次依然运气不太好，在后来的一段时间内碰上了连续的暴雨天气，导致汉中的粮运不继。而后的整个事件就显得比较富有戏剧性了：
平遣参军狐忠、督军成籓喻指，呼亮来还;亮承以退军。平闻军退，乃更阳惊，说“军粮饶足，何以便归”！欲以解己不办之责，显亮不进之愆也。又表后主，说“军伪退，欲以诱贼与战”。亮具出其前后手笔书疏本末，平违错章灼。平辞穷情竭，首谢罪负。
之所以说这次的事件有戏剧性，是因为以李严这样一个极富政治经验和军事能力的人物，居然犯了如此低级的错误，仅仅由于暴雨而导致粮运不继，他就先让参军狐忠、督军成籓等一群人去前线以朝廷名义召诸葛亮撤军，然后上表后主说诸葛亮撤军是诱敌之计，而当他在汉中听说诸葛亮开始撤军时，却又假装吃惊地说“军粮饶足，何以便归”，种种互相矛盾的漏洞前后非一，导致最后“辞穷情竭，首谢罪负”。
不过这件事情，虽然因为蜀国“国不置史”和各种原因造成资料不足，因此不足以让我们有理由做出其他的解释，但从逻辑上来讲，以李严这样的人物，犯下这样的低级错误未免显得过于愚蠢了些。如果说他设计这个圈套的目的是在于“解己不办之责，显亮不进之愆”的话，那么他又焉能想不到他这一大堆公文全都捏在诸葛亮和后主的手中，“前后手笔书疏”都“违错章灼”历历在目，他这个目的显然是不可能得逞的。断粮退军在蜀汉北伐中并非首次出现，况且由于天降暴雨导致道路不畅的粮运不继，也并不会对他政治生涯造成极其严重的后果，在如此小的问题上去冒如此大的风险，而且还明显是把自己的把柄拱手送到对手和皇帝面前去让他们来处理自己，这样的错误和圈套也实在过于弱智了些。要是李严连这些都意识不到的话，那他这个跟头栽得一点都不冤，因为这完全不像是他这样一个拥有几十年军事、政治斗争经验的人所应该犯的错误。
不过，不管事情的真相到底是什么样子，李严最终被贬为平民，在与诸葛亮的权力斗争中败了下来，这标志着蜀汉政权中再没有可以威胁荆楚集团地位的势力存在，而诸葛亮也再找不到一个有足够分量和他分庭抗礼的对手，彻底地巩固了他的地位。在蜀汉政权中，甚至将皇帝包括在内，他也都是唯一掌握着蜀汉最强实权的第一人。
