司马炎素有灭吴统一中国的大志，于是任命羊祜为荆州各路军马的都督。晋国的荆州与吴国的荆州是两国最长的边界地，因而也是晋要灭吴最关键的地方。羊祜自任荆州最高长官后，整顿吏治，加强战备，特别是对东吴军民采取怀柔政策，为晋灭吴奠定了坚实的基础，成就了协助司马炎统一中国的丰功伟业。
羊祜用计使吴国撤去了驻石城的守军。石城距襄阳700余里，吴国原有大量驻军，这些吴军经常骚扰晋国边境。吴国中了羊祜之计撤走驻军后，羊祜就将自己的部队分成了两部分，一部分戍边，一部分垦田。羊祜的这一举措收效显著。羊祜初到荆州时，军无百日之粮。垦田之后的两三年间，所收粮食可供10年之用。羊祜对属下不摆架子。他有一个习惯，就是喜欢着便装，只带上十几个亲信外出打猎或钓鱼，并常常因为这些活动耽误了政事。有一晚，他又准备如此外出，不料军司（即军师，晋避司马师之讳改师为司）徐胤却手执武器挡在营门口，严肃地说：将军您都督万里，怎么可以如此轻率地丢下肩上重任呢？您的安危，就是国家的安危。今天除非徐胤死在这儿，否则这道门您是出不去的！羊祜没有因徐胤扫了自己的面子而发脾气，相反，他立即诚恳地向徐胤道谢，从此就很少外出了。吴国著名的将领陆抗，终于让一向一帆风顺的羊祜遭受了一次挫折。
羊祜返还襄阳，吴国西陵都督步阐准备献城投降。此时，吴国已任命陆抗为吴国的荆州统帅。陆抗是曾大败过刘备的东吴名将陆逊的次子，是个了不起的军事家。得知步阐要降，陆抗立即领兵攻打。晋武帝下诏命羊祜去救步阐。羊祜接到命令后，率领5万人马从江陵出发，并派荆州刺史杨肇先行攻打陆抗。杨肇未攻下陆抗，步阐及其手下被陆抗生擒后诛杀，并被灭了三族。有关官员立即上表弹劾羊祜，说他统领的军队有8万之多，而对方不过3万，羊祜受命后却屯兵江陵，使得吴军能够充分备战，他命令杨肇领军进攻，但杨肇兵少粮食也不足，导致失败，因此，羊祜应免官。奏书上去后，羊祜被降为平南将军，杨肇则被废为庶人。
羊祜这次受挫，让他清醒地认识到，吴国有陆抗这样优秀的将领，军事力量还很强大，因此，灭吴不是朝夕间的事。于是，他加紧了对吴国军事蚕食与怀柔并举的政策实施。羊祜在怀柔上下的功夫更大。他和吴国交兵，总是事先讲定作战时间，绝不搞突然袭击。若有部下建议他搞突然袭击，他就会用酒将那部下灌醉，让他再说不出话。有部下俘获了两个吴国小孩，羊祜马上命令送回去。后来，吴国将领夏详、邵顗等来投降，那两个小孩的父亲也跟来了。吴将陈尚、潘景引兵来犯，战败被羊祜追击斩杀。羊祜以这两位将领是为国而死，于是以礼厚殓。陈尚、潘景的儿子来领他们父亲的遗体，羊祜以相应的礼节送还。吴将邓香带兵侵掠夏口被俘，羊祜把他放了。邓香感恩，率自己的部下来降。羊祜领兵到吴地收割庄稼，但不白拿，总以相应的绢作抵偿。羊祜率众打猎，不出晋地，若打到的猎物先为吴国人所伤，他一定将猎物送还吴人。羊祜这样做的结果，是深得吴人的信服。吴人尊称他为羊公，而不叫他的名字。
羊祜和陆抗两位敌对的统帅还建立了良好的私人关系。他们之间常有书信往来。陆抗很尊重羊祜，认为羊祜的才德，就是乐毅、诸葛亮也未必能超过。陆抗生病，羊祜得知病情后，立即送来药。部下劝陆抗不要吃，担心有毒。陆抗说，羊祜岂是那种害人的人，坦然将药服下。羊祜病情加重后，推荐杜预代替自己。晋武帝咸宁四年（278年），羊祜因病逝世，享年58岁。当天正值大寒，晋武帝身着素服痛哭，流到胡须上的眼泪竟结成了冰。百姓闻其逝世，皆罢市，四处哭声一片。羊祜逝世两年之后，杜预率军灭掉吴国。庆功会上，晋武帝流着泪说：能够灭吴，是羊太傅（羊祜官至太傅）的功劳啊！
