晉武帝司馬炎有滅吳的志向，開始著手準備伐吳部署，以圖實現統一中國的大業。
晉泰始五年《269年》二月十一日，司馬炎任命尚書左仆射羊祜統領荊州諸軍事，假節，鎮守襄陽，仍保留原官職散騎常侍、衛將軍不變。
征東大將軍衛瓘統領青州諸軍事，鎮守臨淄。
鎮東大將軍、東莞王司馬伷任鎮東大將軍、假節，都督徐州諸軍事，接替衛瓘鎮守下邳。
當時，荊州一分為二，西晉和吳國各有一個荊州，形成南北對峙局面。
西晉的荊州包括今陜西、河南的一小部分和湖北北部地區。
吳國的荊州則有今湖北和湖南的大部分地區。
晉吳之間的邊界線以荊州為最長，兩國在此長期對峙，互有攻伐，所以這裡是滅吳戰爭的關鍵地區。
羊祜到任後，發現荊州的形勢並不穩固，由於長期戰爭，局勢難穩，不但百姓的生活不夠安定，就連戍兵的軍糧也不充足。
於是，羊祜首先把精力放在經濟發展方面，著力開發荊州。
他大量開辦學校，興辦教育，安撫百姓，懷來遠人。
對歸附的吳國人，他開誠佈公講信用，去留由他們自行決定，來去自由。
當地的風俗，如果有官吏死在官署之中，後繼者會認為這個地方不吉利，往往拆毀舊府，另行修建，勞民又傷財。
羊祜認為，死生有命，不在居室，於是命令下屬，一律禁止拆毀舊官署新建。
吳國石城駐軍離襄陽七百多裡，常常侵擾邊境。
羊祜深以為患，於是巧用計謀，使吳國撤銷了守備，清除了對襄陽最大的威脅。
羊祜又把軍隊分作兩半，一半巡邏、戍邊，一半墾田，輪換進行。
全軍共開墾了八百餘頃農田。
羊祜剛來時，軍隊連一百天的糧食都沒有，到後來，積蓄的糧食可用十年。
羊祜的這些措施，使荊州的經濟得到快速發展，社會秩序也逐趨安穩，增強了軍隊的戰鬥力。
司馬炎為表彰他的功績，下令取消江北所有的都督建置，授予羊祜南中郎將的職務，負責指揮漢東江夏地區的全部軍隊。
羊祜在軍中，常穿著輕暖的皮裘，系著寬緩的衣帶，不穿鎧甲，侍衛也不過十幾個人。
他還喜歡打獵釣魚，常常因此荒廢公務。
有一天夜晚，羊祜想出營，軍司馬徐胤手持柴戟，在營門擋住了他，說：『將軍都督萬裡疆域，哪能這樣輕心放縱，將軍的安危也就是國家的安危。
除非我死了，今夜此門才得開』
羊祜正色改容，連連道歉，從此很少外出。