漢武帝作為一個強權皇帝，容不下朝堂之中有勢力太過於龐大的家族，而衛氏一家幾乎掌控了半個朝堂。
衛青和他三個兒子都位列侯爵，手握兵權，姐姐衛子夫是當朝皇後，衛子夫的兒子是當朝太子，可以說衛家家室太過顯赫，以至於讓漢武帝開始對衛家心生忌憚，他擔心自己百年之後，衛家會難以控制。
而且漢朝外戚幹政的先例太多了，呂後，薄太後，竇太後，這些都是活生生的例子。
漢武帝不能不提前防備，此時皇後衛子夫已經失寵，太子劉據倍受小人攻擊，臨近暮年的漢武帝猜疑之心更重，後來在太子劉據被逼反失敗之後，衛家徹底被清算，朝堂上的衛氏一族勢力被連根拔起。
衛青一生共有3個兒子，分別為長子衛伉、次子衛不疑、三子衛登。
公元前127年，衛青奉漢武帝命，率軍十萬出征匈奴，此戰大獲全勝，衛青斬獲匈奴王爵以上十餘人，俘獲匈奴人口一萬五千餘人，牲畜幾百萬。
劉徹得知後興奮異常，立刻封賞了衛青，同時還將衛青尚在襁褓中的三個兒子封為了列侯。
從此之後衛氏一門顯貴無比，逐漸成長為朝堂上的重要力量。
衛青除了三個兒子之外，還有三個地位顯赫的姐姐，分別是長姐衛君孺，嫁給了宰相公孫賀。
二姐衛少兒，生育了冠軍侯霍去病。
三姐衛子夫嫁給了漢武帝，並且生育了太子劉據。
因此，在朝廷上形成了龐大的勢力，衛氏一門也全部聚集在了太子劉據的麾下。
公元前106年，衛青去世後，很多覬覦太子之位的人都認為劉據失去了最大的靠山，所以開始在漢武帝面前構陷劉據，打擊衛氏勢力。
此時的漢武帝可能也認為外戚勢力過大，將來太子劉據登基之後，很可能無法收回權力，所以開始著手打擊衛氏一門。
衛青的長子衛伉也因此失去了侯爵，被漢武帝發配邊疆，修築了五年的邊關城池。
公元前92年，新一輪的政治風暴來襲。
丞相公孫賀與衛君孺的長子、時任太仆的公孫敬聲，擅自挪用軍費1900萬錢。
至於這1900萬錢去了哪裡，史書中並沒有提及。
但這件事卻讓公孫敬聲被捕下獄。
事後，公孫賀心急如焚，恰好當時長安城中有一名江洋大盜朱世安，累累作案卻逍遙法外，公孫賀向漢武帝請求，以抓捕朱世安將功贖罪，換出自己的兒子公孫敬聲。
武帝當時也同意了公孫賀的請求。
很快，公孫賀便抓獲了朱世安，並且將其送到了朝廷司法部門。
但朱世安被捕後不僅不悲傷，反而笑著說：『丞相把禍事引到了自己的家中，即將大難臨頭了，終南山的竹子伐盡，也不足以書寫你的罪過』很快朱世安便爆出了一個驚天的大料，上書漢武帝說：”公孫敬聲與武帝女兒陽石公主私通，且在馳道上埋藏人偶詛咒陛下』漢武帝晚年對巫蠱之事異常敏感，尤其是權勢日盛的衛氏家族，更是日夜提放，所以便將公孫賀父子二人重新下獄調查。
最終公孫賀父子二人都在獄中被殺。
公孫賀父子被殺後，衛氏一門開始受到株連，衛子夫的女兒諸邑公主，衛青的長子衛伉也因為這件事被處死，這就是巫蠱之禍的開端。
這件事使得衛氏一門受到了嚴重的打擊，從此之後一蹶不振，而且太子也失去了所有的外援。
於是在幾個月後，與太子劉據有過節的江充誣陷其以巫蠱之術謀害武帝，最終引起了劉據的反抗。
而武帝則直接派兵處死了劉據，衛子夫也因此自縊身亡。
縱觀整個事件，衛氏一門，凡是掌握朝廷大權的人全部被處死，但這件事並沒有禍及衛青的次子衛不疑和三子衛登。
最後說一下，衛青次子衛不疑在巫蠱之禍後便沒有了記載，但衛青的三子衛登一脈在漢宣帝時期復家，還受到了50萬錢的賞賜。
後來衛登的孫子還以長安公乘的爵位做了侍郎。
西漢末年，王莽當政時期，衛登的四世孫還被賜爵關內侯。
以此可見，衛青後人並沒有被滅門。