開皇十年《590年》底，江南地區忽然爆發了一場聲勢浩大的武裝反抗，將沉浸在勝利喜悅中的楊堅君臣一下子喚醒。
南陳王朝在一個多月的時間裡，就被隋軍擊潰，如果僅從軍事角度來看，隋軍的勝利依靠的是突襲式的強有力進攻，讓陳軍瞬間沒有了還手能力，同時部署的鉗形攻勢又迅速將陳軍防線分割，從而瓦解了其防禦體系。
但是，南陳賴以維持的社會經濟基礎並沒有改變，朝廷正規軍雖然不復存在，但被打散的散兵遊勇以及零星的武裝仍然存在。
他們潛伏各地，隨時準備發動武裝叛亂。
尤其建康陷落後，江南各地方的零星反抗，表明了江南要融入隋朝構建的北方社會，還需要一個艱難曲折的過程。
當時，江南最繁華的當屬吳州地區，建康陷落後，該地立即推舉蕭讞為主對抗隋朝。
蕭讞從後梁投奔南陳，在吳州的時間並不長，之所以能夠聚眾而起，還在於吳州地方勢力對於來自北方統治的抵觸和抗拒心理。
所以無論是誰登高一揮，都很容易形成一股合力。
蕭讞扛起抗隋的大旗後，永新侯陳君范從晉陵郡《今江蘇常州》率部與之會合，準備一舉光復建康。
楊堅得到奏報後，特意下詔給右衛大將軍宇文述，讓其率領大軍前往平叛，同時讓由海路進入江南地界的燕榮歸其調遣，最終以絕對的兵力優勢迅速平定叛亂，生擒蕭讞、蕭巖等人。
與此同時，湘州刺史王叔慎也率眾反隋，衡陽太守樊通、武州刺史鄔居業舉旗響應，但最終全都寡不敵眾，被隋軍重兵鎮壓。
上述這兩起武裝抗隋事件，雖然在很短的時間內就被鎮壓，但說明江南社會對隋朝的統治是抵觸的，隻是因為南陳王朝土崩瓦解，沒有統一的指揮，抵抗的武裝勢力士氣也不高昂，所以很快就被平定。
這種具花一現的反抗給了隋朝一種假象，那就是江南的軍隊全都不堪一擊，這事實上掩蓋了因社會發展不平衡所造成的差異性問題。
從魏晉時期開始的南北分裂到楊堅平定南陳時，已經長達三百餘年，南北方從生產方式到生活習俗、制度文化等方面，在長期的分裂狀態下，逐漸拉大了差距，想要把兩地的社會結構完全統一起來，絕不是僅僅依靠武力就可以成功的，其中必然會有矛盾和沖突，需要楊堅君臣周密計劃、穩妥行事，而且還需要耐心與寬容。
但是，隋軍摧枯拉朽般的勝利，讓楊堅君臣在一定程度上將改造江南想象得有些簡單，甚至沒有充足的思想準備。
他們雖然將南陳的君臣帶回京城供養起來，以示懷柔之策，想給江南人樹立一個寬大為懷的榜樣，可同時又把江南很多士人悉數強行遷到京師， 想要以此徹底除掉動刮的因素，這些人絕大部分境遇淒涼，反而讓江南人心中增添了仇恨。
而且隋朝當時在江南地區強行頒行北方的制度，沒有顧忌江南社會的歷史背景和特點，例如大量改變原南陳的行政區劃。
隋朝統一北方後，在開皇三年《583年》實行了廢郡的地方行政制度，在統一南方後，楊堅立即將這項制度復制到南方地區。
開皇九年《589年》正月二十九，日，也就是攻克建康不到十天，楊堅就派出第一批使者前往江南巡視，時任監察禦史的房彥謙奉詔巡視.括州《今浙江麗水東南》、泉州《今福建福州》等十個州，使者的足跡已經遍佈南方，當時肩負地方制度改革任務的有左領軍長史長孫熾，他的任務是持節巡視東南道三十州，廢置州郡，巡省風俗。
依據北方實行的地方制度，南方的郡基本上廢除，同時還合並了一些州縣，有些地區則予以地名調整，並增設了一些州縣。
地方制度的改革固然很重要，但是如果無視地方的歷史承襲背景，操之過急就會對已經獲取既得利益兩百多年的門閥世族打擊太大，普通民眾一時間也難以適應，更何況有些改革也純粹是為了加強對江南地區的統治，例如將建康蕩為平地還耕，以及揚州、南豫州、吳州等江南中心地區行政建制的改變，都帶有十分濃厚的征服色彩，這些舉措自然會引起江南人的反感。
隋朝在改變江南行政區劃的同時，基本上撤換了南方地區的行政長官。
平陳之後，很多原南陳上層地方官員都被押往北方，也有很多人被罷黜，很少有能順利留任的，取而代之的則是隋朝任命的官員，這些官員無一例外都是北方人，這種局面一直到隋煬帝楊廣在位時才逐漸有所改變，因此楊堅對江南地區的人事安排無疑也是具有征服特點的。
楊堅建立隋朝後倡導孝治天下，以宣傳儒家的”三綱五常”作為施政基礎。
平陳之後楊堅又將這套理論搬到了江南強制執行，雖然楊堅大力推行儒家綱常理論是為了加強對江南地區的控制，但結果卻恰恰相反。
由於世家大族的統治被削弱，江南的豪族勢力被沉重打擊，這就與江南世族意識形態產生了直接沖突。
隋朝在江南推行的不僅僅是中央集權化的統治，而是具有濃厚征服色彩的高壓政治統治，想要從根本上動搖世家大族壟斷的社會基礎，力圖用北方農耕社會的模式改造江南，以謀求和北方的政治統一。
楊堅的這種想法是好的，但在江南推行這些政策的時候，確實存在無視江南社會特性與歷史背景的現象.
楊堅這種強行的、操之過急的施政江南策略很快便顯現出了弊端，前文提到的開皇十年江南的武裝反抗就是例子。
開皇十年《590年》年底，江南人聽說隋朝要將他們全都遷往北方，看到先前被遷往北方的那些文士的遭遇後，江南人對此信以為真。
當時婺州《今浙江金華》人汪文進、越州《今浙江紹興》人高智慧和蘇州人沈玄愉扯旗造反，又一場聲勢浩大的武裝反抗就此拉開大幕。
隨後南方很多地區又出現了若幹反抗勢力，進而席卷了整個南方地區，按照《資治通鑒》上的記載，陳之故境，大抵皆反，大者有眾數萬，小者數千，共相影響，執縣令，或抽其腸，或臠其肉食之，曰’更能使儂誦《五教》邪！’”
可見這些反抗勢力從根本上反抗的是隋朝的”三綱五常”的施政策略，並不是要復興南陳政權。
這些反抗首領有的自稱天子，有的稱為大都督， 當然如此眾多人參加反抗，我們不能視他們是國家的分裂者，而是對隋朝的統治不滿。
這些反抗勢力的首領之所以能夠振臂一呼就得到千萬人的響應，是因為他們有很大的鄉野勢力和號召力，例如高智慧當時能夠率眾兩千人從東陽翻山越嶺攻下無數州縣，前後打了七百餘戰，轉戰數千裡。
可以想象，如果沒有鄉村塢堡勢力的支持，他是不可能隻帶領兩千人就如入無人之境的，因此這場遍及南方地區的反抗鬥爭，其實是屬於江南世家大族領導的反抗隋朝統治的鬥爭，目的是維持南方既有的生產生活方式與社會組織形態，背後隱藏的則是世族政治與中央集權政治的鬥爭。
江南地區發生如此大規模的叛亂讓楊堅始料未及，消息傳來後他冷靜判斷形勢，絲毫不敢大意。
經過和朝臣們詳細的商議後，楊堅決定派遣剛剛回京擔任內史令的楊素再次領軍出征江南。
楊素當時兵出楊子津，攻克京口、晉陵，向叛軍發起了強有力的進攻。
最初戰事比較順利，經過幾次戰鬥，楊素擊敗了許多叛軍，穩定了局勢。
但是江南地區的叛亂范圍實在太大，響應者眾多。
所以隨著時間的推移，楊素的軍隊如陷入泥潭一般，必須要與敵軍逐個地區進行爭奪，楊素當時親自帶領軍隊打了大小百十仗，艱難地向江浙地區挺進。
楊素苦戰，進兵江浙還算是順利，但南方的情況非常糟糕。
例如泉州的王國慶領軍圍攻泉州百餘天，殺掉刺史劉弘占領州城。
番禺的王仲宣聚眾造反，嶺南人多有響應，王仲宣順勢領兵進攻廣州。
廣州總管韋洗勒出戰，結果為流矢所中，死於亂軍之中。
值得一提的是，在平定江南叛亂的過程中，晉王楊廣曾經擔任平陳之戰的統帥，娶了後梁公主為妃，可以說與江南關系頗深。
由於這個原因，楊廣十分喜愛江南文化，對江南最具感情，楊堅派他到江南表明這期間對江南策略有所改變，開始實行戰略性調整，修正以往對江南的高壓政策，采取懷柔策略。
改變對江南的施政策略，可以從很多具體事件反映出來。
楊廣到達江南後，采取雙管齊下之策，一方面繼續加強軍事進攻，命令行軍總管郭衍領兵萬人屯駐京口，繼續與叛軍接戰;另一方面招降納叛進行招安，並取得了不錯的效果。
隋朝究竟用了多長時間才平定江南的武裝叛亂，史料上沒有明確的記載，隻知道戰爭進行的過程中，楊堅因為楊素在外征戰勞苦，對其進行豐厚的賞賜，鼓勵他再接再厲，徹底消滅江南的反叛勢力。
此後楊素繼續出征，由海路進入泉州，打敗王國慶、誘殺高智慧，方才基本上平息了江南叛亂，楊素也因為平定叛亂的功勞，而取代蘇威升任尚書右仆射。
楊素取代蘇威的官職是在開皇十二年《592年》的十二月，由此可以推測江南地區的武裝反抗至少持續到這一年，也就是說持續了一年半。
《隋書·高祖下》記載∶”開皇十一年，江南叛反，王師臨吊，乃拒官軍，羽檄競馳，兵聲逾盛。
時元帥楊素整陣南驅，尋便瓦散，俘虜誅剪三十餘萬。
“由此可以證明，在開皇十一年《591 年》時，平定叛亂的戰爭依舊繼續。
當時江南人口大約六十萬戶，按照上述史料的記載竟有三十萬人反叛，可以想象當時平定叛亂的戰爭慘烈到什麼程度，因此這場叛亂最終被平定，不可能完全都是軍事鬥爭的結果，事實上就在楊素返回京城任職後，江南地區還時有叛亂發生。
所以楊素回京任職並不代表叛亂徹底平定，隻代表大規模的軍事鎮壓暫時告一段落，此後江南的政務由楊廣來主持，其施政策略也由高壓逐漸轉變成安撫。
應該說席卷南方的武裝叛亂讓楊堅充分認識到了南北方社會的巨大差異，也就是從這場叛亂開始，楊堅必須要正視南方社會的特點，在維護國家統一以及政治上保持一致的前提下，對南方的政策做出適當的讓步，允許在一定程度上保持原有的經濟生產方式和生活習俗，容許多種社會特性存在。
由於實施了這種懷柔政策，楊堅特意制裁那些南下巡視官員的不法行為，盡量讓南方人看到隋朝治理好江南的誠意。