趙構能發出『非卿不忠，非朕不明』的感慨，表明他對嶽飛精忠報國的情懷，內心中其實並不存在懷疑。
但站在當皇帝的角度，趙構又極不願意看到武將勢力做大，甚至民心、威望蓋過皇權的情形出現。
嶽飛與韓世忠、張俊、劉光世四位武將，是兩宋交替時期，活躍在抗金戰爭第一線的『中興四將』。
張俊、劉光世徒有其表，真正能夠與金兵硬碰硬較量的，還是嶽飛和韓世忠。
南宋之所以能夠維持住半壁江山，趙構能夠坐穩皇位，全賴嶽飛等武將多年來的浴血奮戰。
嶽飛軍事生涯的巔峰時刻，曾一度掌握南宋將近半數的軍隊。
他的軍隊紀律嚴明、作戰勇敢，『凍死不拆屋，餓死不擄掠』的鐵律，使得嶽飛的軍隊深得民心愛戴，百姓親切得呼之為『嶽家軍』。
再加上嶽飛一貫以來直搗黃龍府、迎回徽欽二帝洗刷靖康之恥的主戰立場，讓他在北方抗金義軍中的威望也十分得高。
一位武將如此耀眼的情形，自北宋開國以來幾乎是絕無僅有的。
宋朝自太祖趙匡胤開始，有鑒於中晚唐以來延續至整個五代十國的藩鎮割據，便認定武將的禍害，更勝於文官的貪腐，因而對武將極度得不信任。
以文馭武的國策，雖然犧牲了軍隊的戰鬥力，讓北宋軍隊在對遼、西夏的戰爭中屢屢失利，甚至於被金兵攻陷首都汴梁，留下靖康之變的沉痛恥辱。
然而整個宋王朝版圖內部，卻極少有武將亂政之事發生，和平的環境讓北宋的商品經濟迅猛發展，清明上河圖畫卷展示的繁榮景觀，真實得反映了北宋百姓富足的物質和精神生活，並非是毫無根據的藝術創作。
趙構對嶽飛等武將心存猜忌心理，除了承襲宋朝一貫以來的抑制武將傳統外，另一層重要的因素便是發生在他身上的慘痛教訓。
原來趙構在位初期，南宋內部曾有苗傅和劉正彥兩位將領，借清君側誅殺趙構寵幸的權臣及宦官之名義發動兵變，並逼迫他將皇位禪讓給三歲的皇太子趙旉。
整場動亂讓趙構受盡驚嚇，唯一的兒子趙旉也在這場動亂中被活活嚇死。
由於趙構早年四處逃避金兵追捕，極度恐慌之下竟然失去了生育功能，趙旉的死等於是讓他斷絕了後嗣。
想當初，金兵在金兀術的率領下『搜山檢海捉趙構』，逼得趙構乘船到海上建立流亡政府，雖然狼狽不堪，但畢竟讓他挺過了最危急的難關。
可來自內部武將的叛亂，卻差點讓趙構性命不保。
可以這麼說，高宗的斷子絕孫的心理陰影，正是軍閥造成的。
有了這番經歷，使得趙構對太祖抑制武將勢力的英明決策深信不疑。
面對手握重兵的嶽飛，自然千方百計想辦法要將其控制在手中。
嶽飛與趙構的不合拍，還表現在嶽飛理想主義的性格，與趙構所期待的南宋政局格格不入。
嶽飛一直高呼的迎回徽欽二帝，放在民族情感層面自然是振奮人心，但政治向來是一門厚黑學，把趙構的老爹和哥哥帶回來，那讓趙構這個皇帝往哪裡擺，到時候皇位是還給老爹呢，還是哥哥？
實際上，當南宋與金國打得難分難解時，金國一度謀劃當前方軍事失利時，就把正牌的欽宗放到汴梁當傀儡皇帝，用這張政治牌去動搖趙構的皇位合法性。
趙構不敢在戰場上下死手，也與徽欽二帝尚在人世的因素有關。
這便是作為政治家的趙構，跟偏重於軍事家的嶽飛，兩人考慮問題的本質差異。
嶽飛壯大嶽家軍的勢力，想的是積蓄足夠的軍力直搗黃龍滅亡金國，可趙構卻在防著武將勢力坐大；
嶽飛高喊迎回二帝，為的是凝聚宋人民心洗刷靖康之恥，而趙構卻要首先保證皇位上坐著的是自己。