祖逖少轻财好侠，慨然有澄清天下之志。曾为齐王冏大司马掾，累官太子中舍人，东海王司马越任为典兵参军、济阴太守，母丧不赴。永嘉五年(311)匈奴族刘曜率汉军攻陷洛阳，晋怀帝被俘，中原大乱，祖逖率亲邻几百家避难南下，甘苦与共，被推为流徙的首领——行主。至泗口(今江苏清江北)，镇东大将军司马睿任命他为徐州刺史，不久征为军咨祭酒，移居京口(今江苏镇江)。上书司马睿，力请北伐。
建兴元年(313)，司马睿以逖为奋威将军、豫州刺史，只予一千人的粮食和三千匹布作为北伐物资，由其自募战士，自造兵器。他带着随他南下的部曲百余家北渡长江，中流击楫宣誓：“祖逖不能清中原而复济者，有如大江！”至淮阴后，一面冶铸兵器。一面招募流散，得两千多人，进屯雍丘(今河南杞县)。当时，河南坞主各拥部曲自重，相互攻击，依违于石勒和晋朝之间，他派人招抚，共御石勒，进克谯城(今安徽亳州)。蓬陂坞主陈川势力较大，大掠豫州诸郡，被祖逖设伏击溃，将所掠子女财物各归原主，深得民心。陈川投石勒，祖逖率军伐陈，勒遣石虎领兵五万救援，祖逖数以奇兵击退进犯。石勒统治的镇戍多归附祖逖，北方晋室将领李矩、郭默、上官巳、赵固等也愿听从指挥，九年即收复黄河以南的大部土地。祖逖军纪严明;自奉俭约，不畜资产，劝督农桑，发展生产，深得百姓爱戴。历经丧乱的中原父老说：“吾等老矣！更得父母，死将何恨！”黄河北岸坞壁群众向祖逖密报石勒的活动，迫使不敢南犯。石勒遣书求互市，他虽不答，却任凭通商贸易，收利十倍。
正当他回镇寿春，同时积极营缮虎牢关(今河南荥阳汜水镇)，秣马厉兵，积蓄力量，准备向北岸推进时，东晋王朝内部矛盾激化，王敦擅政，拥兵于武昌，而晋元帝司马睿亦不甘为傀儡，积极任用刁协、戴渊等人，四方布置。
太兴四年(321)，晋元帝司马睿派遣戴渊为征西将军、都督司、兖、豫、并、雍、冀六州诸军事、司州刺史，以监督祖逖。戴渊虽然才学出众，颇有韬略，又忠于晋朝，但因是南方人，对北伐并不积极，手下也没有什么精兵强将。他的职务，实际上是晋元帝为了防备大将军王敦而作的布置。祖逖忧虑王敦和东晋政权对立，内乱爆发，北伐难成，当年，忧愤死于雍丘。他死后王敦以为已经无敌，于是发动叛乱，于次年攻入石头城。戴渊等援救失利，被执遇害。
王敦被平定后，朝廷又派祖逖的弟弟侍中祖约接替他的职务。祖约为人贪好财货，短于大略，虽有祖焕、戴洋等人辅佐，但依旧屡次失败，加上敌后的李矩等人相继失败，祖逖收复的土地又逐步被石勒攻占。327年，祖约联合苏峻发动叛乱，失败后投奔石勒，不久全族被害(只有一个十岁的小儿子，被祖逖从前的一个羯族部下救出)。
公元321年9月，祖逖含恨离开了人世，享年56岁。中原人民听到祖逖逝世的消息，万分悲痛，许多地方的民众为他建了纪念祠堂。祖逖领导的北伐虽然没有完全取得胜利，但打击了胡人气焰，使东晋王朝统治得以巩固。他为国献身的精神，长留青史，千百年来一直受到人们的敬仰和赞颂。
