刘裕后从军，最初就任北府军将领冠军将军孙无终的司马，隆安三年十一月，孙恩从会稽起兵反晋，朝野震惊，刘裕借机转投淝水之战名将刘牢之门下，从军平叛。在转战三吴的几年中，刘裕屡充先锋，每战挫敌，其军事干略得到初步显露。他不仅作战勇猛，披坚执锐，冲锋陷阵，且指挥有方，富有智谋，善于以少胜多。刘裕治军整肃，法纪严明。因讨乱有功，刘裕被封为建武将军，领下邳太守。刘裕开始在北府军中展露其才华。
元兴元年，桓温之子桓玄举兵东下，攻入建康，杀司马元显，刘裕审时度势，暂投桓玄以行韬晦。由于刘裕屡建军功，于北府旧部中颇有声望，故桓玄也不敢小视他。次年十二月，桓玄篡位，更对刘裕款待备至，恩宠有加。桓玄常说：“我欲荡平中原，非此人不行”。
元兴三年，刘裕以打猎为名，聚集百余人首先在京囗发难，杀死桓修。众人推刘裕为盟主，传檄四方，各地纷起响应。因桓玄守军大多是北府军出身，面对刘裕都没有斗志，刘裕于是与诸军进攻，顺利以火攻击溃桓玄守军，而桓玄亦弃城西逃。
当年六月刘裕诛杀了桓玄，晋安帝在江陵复位。
义熙元年，刘裕收复江陵，驱逐当地桓氏势力，并自江陵迎晋安帝回建康。恢复东晋江山。
义熙四年，刘裕听从刘穆之劝言入朝议继任人选，终获授侍中、车骑将军、开府仪同三司、扬州刺史、录尚书事、徐兖二州刺史，入掌朝政大权。至此成为东晋朝堂之上的真正领导者。平定桓玄之乱，让刘裕在乱世崛起，也锻炼了他的睿智之心，刘裕心中自有韬略，一直以来他知道北方才是自己的战场，等到其掌握东晋大权后，北伐即提上日程。
