当年三月，隋河南讨捕大使裴仁基和其子裴行俨率众在虎牢关投降瓦岗军。接着，隋将秦叔宝、程咬金、罗士信也都率部投降，隋淮阳太守赵佗也举郡归降。四月，李密又亲自率兵3万攻占回洛仓，并大修营堑，初步形成对洛阳的包围。在节节胜利、捷报频传的情况下，李密见时机已经成熟，立即发布讨隋炀帝檄文，痛数其十大罪状，明确提出推翻隋王朝、建立新王朝的口号。
但李密并没有接受谋士柴孝和先入关攻取长安的建议，依然固执地发兵洛阳，瓦岗军与隋军在洛阳不可避免地发生了大规模的对攻战。李密这种错误的战略决策使瓦岗军全军被阻顿于坚城之下，不得不面对一个又一个敌人，处于被动挨打的地位，这无疑是一种送肉上砧板的愚蠢战略。不过，话又说回来，也正是瓦岗军牵制住了隋军的主要战略力量，使天下局势为之一变，李渊父子得以顺利地攻占长安。
瓦岗军与隋军在洛阳展开了拉锯战，双方前后打了六十多仗，互有胜负。正当双方的战斗如火如荼之际，瓦岗军内部出现了分裂。李密的瓦岗军首领之位是由翟让“让”出来的，形势的发展，不经意间会勾起人内心深处对已逝权力的渴望和追求。翟让的亲信部将王儒信多次劝翟让做“大冢宰”，总统政务，以夺李密之权。翟让的哥哥翟宽也对翟让嚷嚷：“天子止可自作，安得与人？汝若不能作，我当为之。”（《隋书·李密传》）翟让自己也常说：“魏公李密是我把他推上现在的位置的，不过，未来的事情会发生什么变化，谁又能说得清楚呢？”正如鱼得水的李密听到这些话之后，如坐针毡，遂“有图让之计”（《隋书·李密传》）。
大业十三年（617年）十一月十一日，李密设计在宴会上杀了翟让，同时遇害的还有其兄翟宽及部将王儒信。翟让旧部徐世勣被乱军砍伤，因李密制止及时，幸而得免，单雄信等人皆叩头求饶。李密大声宣布：“我与诸位同起义兵，共除暴乱。而翟让凌辱群僚，欺上瞒下，专行暴虐，图谋不轨;今所杀仅止于翟让、翟宽、王儒信三人，与诸位无任何关系，愿大家各安其职，共图大业。”这场不择手段的暗杀给瓦岗军的反隋大业造成了不可弥补的损失，翟让被杀后，瓦岗军内部出现了严重的信任危机，“密之将佐始有自疑之心矣”（《资治通鉴》卷一八四）。瓦岗军的团结被彻底地破坏了。
隋大业十三年（617年）十二月至唐武德元年（618年）正月，李密率瓦岗军与王世充在洛水边决战，王世充兵败如山倒，5万江淮劲卒只剩下数千人。遭此大败的王世充收拾残兵败将龟缩于洛阳城内，再也不敢出战。虽然瓦岗军多次获胜，但始终被困于洛阳坚城之外，不能完成占领洛阳的战略目标。长期鏖战的结果使瓦岗军实力不仅没有增强反而在慢慢削减，瓦岗军的处境呈现颓势。
武德元年（618年）三月，宇文化及等在江都发动政变，杀掉隋炀帝，随后率兵10余万北上，气势汹汹地杀奔中原而来。李密全力对付宇文化及，他率领瓦岗军在卫州的童山（今河南浚县西南）与宇文化及决战，双方恶战了整整一天。此战李密被流矢射伤落马，幸得秦叔宝及时相救。获救后的李密组织部队稳住了败局反而取得小胜，迫使宇文化及改变行军路线，率残部两万人北上。
按照事前的约定，李密可以入东都辅政了。但野心勃勃的王世充怎么能心甘情愿地让李密插手洛阳事务呢，于是发动宫廷政变，独揽了洛阳大权。在入洛阳途中听闻此事的李密无奈只好返回原驻地。时光似乎又回到从前，依然是瓦岗与东都的对峙，但内中的格局早已今非昔比。杀翟让后，李密“颇自骄矜，不恤士众”（《资治通鉴》卷一八六）;加之，他多信用隋朝旧将，引起瓦岗军士的怨愤。此外，李密虽据粮仓，却无府库，有功将士得不到赏赐，也暗生不满。这意味着看似人多势众的瓦岗军内部潜伏着严重的危机。而王世充新掌大权，可以自由调派人马，实力大增。
这年九月，王世充与李密在偃师展开了生死存亡的大决战。这一战，李密一败涂地，再无回天之力，曾经风云一时的瓦岗军刹那间灰飞烟灭了。
