嶽飛被以莫須有罪名賜死後，長子和部下張憲也隨後被斬首示眾，其妻李孝娥與次子嶽雷、三子嶽霖、四子嶽震、五子嶽霆一起被流放到了嶺南，後宋孝宗登基為嶽飛平反，在嶺南的嶽飛家人北歸江西，嶽霖收錄各方資料，由其子嶽珂編著而成《鄂國金佗稡編》和《續編》，成為後世研究嶽飛的重要史料。
而對於秦檜來說，在明知不斬草除根的情況下，嶽家的家屬日後肯定會為其謀反，把自己打成賣國賊行列的情況下，卻沒攛掇宋高宗對嶽飛滿門抄斬，徒留後患。
這肯定不是秦檜或是宋高宗善心大發，放過嶽飛一家，而是大宋刑法中的硬性規定，連皇帝都不敢違背。
關於嶽飛家屬為什麼能夠保全的問題，在小說《說嶽全傳》中解釋說是韓世忠之妻梁紅玉，在得知了皇帝要殺嶽飛全家時，讓丈夫韓世忠入朝阻止高宗下令，自己帶著二十名女將闖入秦府質問秦檜，秦檜嚇得躲在書房不敢出來，於是梁紅玉就對著秦妻王氏據理力爭，大罵秦檜賣國害忠的行為，甚至還有帶著秦檜兵諫的趨勢。
無可奈何之下，秦檜隻好從後門出去，假裝剛從朝廷回來，說自己保奏嶽飛家屬，除了已死的嶽飛、嶽雲外，其餘人都免除斬首，判了流放之刑，如此梁紅玉才算作罷，並陪伴在嶽夫人身邊，與她結為金蘭姐妹，隨時保護，在嶽夫人起身去雲南時，還派了四名得力家將保護著，讓秦檜無法得手，才總算保住了李孝娥、嶽霖等人的性命。
但這隻是小說演義，將嶽飛之死全部推到奸臣秦檜身上，把高宗皇帝給撇得幹幹凈凈，可事實上，根據大宋律法規定，即使是有謀反實情的，也隻是自身賜死，其家人流放即可，沒有禍及家族，滿門抄斬的情況發生，而且對此還有很多可以憑借戰功，靠錢財贖身以免罪的，其實嶽飛也可以在這一情況之中，憑他對金軍造成的傷害來說，他要是肯曲迎一下，學韓世忠那樣交納家產的話，或許還不至於被下令賜死了。
在秦檜給宋高宗提供的所謂『嶽飛罪狀』來看，最嚴重的一條不過就是罵高宗不修德，沒有進取心而已，這對律法寬厚的宋朝來說，也算不得什麼大事，還沒到『謀反』這樣大逆不道的程度，即使是使得宋高宗對嶽飛的容忍度到達臨界點的『淮西兵變』中，嶽飛也不過是因為宋高宗違背誓言，沒有將兇猛的淮西兵交給自己而辭職歸隱，最多就是一個『輕率』的罪名，也不入謀反的范圍。
隻不過在宋高宗的有意為之，以及秦檜、張俊等人的故意渲染下，沒有謀反實情的嶽飛才被按上了個『謀反』的罪名，被賜死，同樣在嶽家軍掌握實權的嶽雲和張憲也被斬首了，可是在此之前，掌握司法大權的大理寺極力保證嶽飛之罪是『查無實情』，司法權和皇帝產生了沖突，多人為嶽飛上書申冤，上至朝廷官員、下至佈衣百姓，甚至連武將派系也開始質問秦檜，如此群情激昂的情況下，宋高宗再昏庸，也不敢妄自行株連大獄了。
何況自宋太祖制定了『刑不上大夫』的鐵則之後，歷代宋朝帝王多是在此基礎上，又繼續減輕刑罰，死刑之下最重的懲罰就是流刑了，一般都是流放到海南、廣東等當時還沒開發的煙瘴之地，又因為流刑期間路途遙遠，途中沒專人照顧，加上被判流刑者不得攜帶過多財物，加上氣候、押差等原因。
流放無疑是被判死刑，經常走不到一半就因病去世了，所以朝廷下令要有專人照看，流放沿途的館驛也要好好照顧，讓流放者可以安全到達流放地，連誤國殃民的蔡京等六賊，也隻是判了流放之刑，何況是女流之輩的李孝娥，以及最大不過十六歲的嶽霖等人了。
不過宋高宗對嶽飛怨恨已深，公然改變歷代宋帝的制度，將原本隻判流放的嶽雲、張憲兩人改成斬首，以增強嶽飛『謀反』的證據，所以嶽飛的家屬被判流放而不是滅族，看似是宋高宗和秦檜網開一面，實際上卻是司法所定，宋高宗雖身為皇帝，但也不能公然違背祖宗之法，殺嶽飛已經是有點『違反祖制』，怎麼可能再加一條前所未有的滿門抄斬呢？天下悠悠眾口，又豈是如此好堵的。