人和人的兴奋点不同，羊祜不喜欢高官厚禄，只想看到一统天下！
虽然不能按照羊祜的心意，马上出兵伐吴，可司马炎还是很领这份情的，公元277年，司马炎下令封羊祜为南城侯，把包含五个县的南城郡作为羊祜的封地。这可是个不小的赏赐了，可羊祜这次依旧谦虚谨慎，很坚决的把这个好事给推辞掉了。
羊祜这么努力工作，做人又这样的谦虚谨慎，朝廷内外很多人都很尊重他，不少人都上书，推荐羊祜做宰相。要论能力，论威望，羊祜做个宰相是没问题的，可当时的情况比较特殊，司马炎想要平定吴国，就需要荆州有一个羊祜这样的人坐镇，可又不能让宰相常年不在京城，所以就没有满足大家的好意。
就在公元277年的冬天，吴国的夏口都督孙慎发兵入侵了晋国的边界，从弋阳和江夏等地抢走了几千家的人口，而羊祜并没有出兵进行追击。边境出现这样的事情，朝廷自然是会知道的，司马炎就派人去询问羊祜不追击的道理，还打算把荆州的州政府所在地换个便于防守吴国的地方。
羊祜很淡定的对使者解释说，我驻守的襄阳，距离江夏有八百里，等吴军侵犯的消息传来，他们已经离去好几天了，我再发兵过去，根本起不到保护百姓的作用。按一般道理来讲，我发兵过去追击，就算追不上，也可以避免遭受朝廷的责怪，可那样就没有意义了。还有更换州政府所在地的事情，我觉得，两国交界处是很特殊的地方，一方是敌人，一方是我们，只要认真守住边界就是了。如果是为了防范敌人而改变州政府所在地，那敌人是出没无常的，就没法确定该设置在哪里了。
羊祜讲的这些，都是有理有据的大实话，一不会为自己随便找借口，二也不会为照顾皇帝面子随便附和，再加上羊祜平日的口碑和威望，所以使者也实在问不出其他问题了。晋武帝自然也不会有太多的意见，还是那句话，毕竟攻打吴国还要依仗羊祜的。
不过啊，司马炎等得起，羊祜可是等不起了，就在公元278年的八月，羊祜生病了，这次病的还有点严重，羊祜好像预感到了什么，他请求回到了都城。说来也巧，就在羊祜返回洛阳的时候，司马师的夫人，也就是羊祜的亲姐姐去世了，羊祜是悲痛万分，病情更加严重了。
对于羊祜的状况，司马炎非常关心，让他入朝的时候可以坐车，见到自己以后不用下拜，那羊祜每次见司马炎以后也不说别的，就是分析吴晋两国形势，给他讲应该要伐吴了，伐吴的话应该分几步走。
后来羊祜的病一天天加重了，为了保护他的身体，司马炎就不让他上朝了，可伐吴大计不能耽误，就经常让中书令张华去看望羊祜，询问伐吴的好办法。羊祜可能也觉得自己时日不多了，有一次他跟张华推心置腹的谈了一次。
当今的皇帝接受了禅让，这是天大的美誉，可他的功德还没达到那个程度，以吴国孙皓现在的残暴程度，对吴国完全可以不战而胜了，统一天下以后，皇帝就可以同尧舜齐名了，你们也可以流芳千古，成为万世的楷模。
要是不抓紧时间伐吴，说一句不好听的，万一哪天孙皓不幸死了，吴国立了一位贤明的好君主，吴国人齐心协力，我们就算有百万大军，也没法跨过长江了，那就太遗憾了！
对于羊祜的见解，张华十分的赞同，羊祜也激动的对他说，伐吴大计是我的追求，能完成我这个心愿的，只有你了。张华向皇帝转达了羊祜的看法之后，司马炎一统天下的决心更加强烈了。
此时的司马炎，已经准备好要大举伐吴了，他打算让羊祜作为伐吴的总指挥，让他卧床监督南下的诸位将领。此时的羊祜倒是挺理智，他告诉司马炎，攻打吴国不一定要我亲自参与，主要还是靠皇帝陛下多多费心，那些功名的虚名，我兴趣不大，我这辈子也快结束了，这个重要的任务还是由其他人来完成吧，希望陛下能慎重的选出这个人！
就在这一年的十一月，羊祜因病去世了，在临终之前，他推举了杜预接替自己坐镇荆州。