大兴四年(321年)，晋元帝以戴渊为征西将军、都督司、兖、豫、并、雍、冀六州诸军事、司州刺史。祖逖认为戴渊虽有才望，但无远见，无助于北伐，而且自己既收复黄河以南大片土地，却突然由如此从容不迫的文臣统领，心中甚为不快。同时，祖逖忧虑权臣王敦和宠臣刘隗对立，内乱将会爆发，北伐难成，因而忧愤成疾。祖逖虽然患病，但仍图进取，抱病营缮虎牢城，同时派人修筑营垒作为南部部队的据点以防后赵进侵。
同年九月，“妖星见于豫州之分”，祖逖仰视星空，叹道：“为我矣！方平河北，而天欲杀我，此乃不祐国也。”不久，祖逖病逝于雍丘，享年五十六岁，追赠车骑将军。豫州百姓如丧父母，谯梁百姓为之立祠。祖逖死后，王敦大喜过望，“久怀逆乱，畏逖不敢发，至是始得肆意焉”。祖逖之弟祖约代替其兄统领部众，但节节失败，祖逖收复的河南大片土地最终被后赵攻陷。南渡之后，很多南渡士族极力要求司马睿北伐收复失地，以闻鸡起舞出名的祖逖为其中的突出代表。但是他并没有得到司马睿的重用。这是由于司马睿不会用人吗？我们认为并不是这样的，因为祖逖北伐的要求和司马睿立足江南的目标存在冲突，为了实现自己的战略目标，他放弃了祖逖。
祖逖率领宗族宾客南渡后，司马睿开始还是重用他的，任命他为徐州刺史，不久又征用为军谘祭酒。但祖逖仍以收复中原为己任，多次上书司马睿，积极要求北伐。而此时司马睿政权在江南尚未立稳脚跟，对北伐能否成功更是怀疑，所以很现实地选择了保存江南政权的策略，因此对北伐态度极其冷漠。有人说司马睿本人“素无北伐之志”，这似乎有些要求过分了。他和王导实际上是在致力于割据江南，静观时变;渡江之后，他在建康建立了实际上的独立政权，实现了偏安江左的规划，但是并不稳固，需要加强内部建设，保存实力。
尽管司马睿政权对北伐不积极，但由于南渡百姓及部分南渡士族强烈要求光复失地，重返家园，因此，为了笼络人心，司马睿也不得不表面上同意祖逖北伐。司马睿于是任命他为奋威将军、豫州刺史，却不愿意给予实质的支持，只给几千军队，千人口粮和三千匹布，剩下的东西让他自行解决。
祖逖还是率兵渡江北上，在长江上击楫起誓：“不能清中原而复济者，有如大江。”表达出自己北伐的壮志。渡江后，祖逖进屯淮阴，招募军士，锻铸兵甲，并屯田积谷，随后进军太丘、雍丘一带，并积极联合一些坞壁的地主武装，共同对付石勒。不到几年的时间，祖逖就收复了黄河以南的大部分土地，并在收复之地劝课农桑，允许边境人民开展互市贸易，使收复之地呈现出一片兴旺繁荣的景象。
但是祖逖始终没有得到东晋政权的支持，北伐终以失败而告终。这除了史家常说的权力争斗等因素外，从用人角度讲，祖逖的抱负虽然宏大，但是与司马睿的战略规划确实存在冲突。他不能为司马睿所用是有原因的。
