宋仁宗要在親政後外放官員，其原因無非是因為這些官員是劉太後的親信，他看著不爽、用著不慣，而呂夷簡本人，他在劉太後執政時期也算宰相吶，從來沒有明確反對過劉太後，要說他是劉太後親信，又有誰會反對？
但宋仁宗一開始並沒有這麼想，因為呂夷簡比其他大臣都早開始了與皇帝的關系建設。
劉太後雖是太後，但宋仁宗卻不是她的兒子，宋仁宗生母李氏是劉太後的侍女。
在宋仁宗明道元年《1032年》，這位侍女去世，劉太後想偷偷地埋葬了事，呂夷簡站出來表示反對。
盡管劉太後一直對外聲稱自己是宋仁宗母親，但呂夷簡是知道實情的，所以他直接指出宮中剛去世的那位貴人葬禮得升級。
劉太後急忙帶著宋仁宗回內宮，一會才單獨出來質問呂夷簡為什麼關心內宮的事。
呂夷簡以劉氏家族的未來勸諫太後，最終使得太後回心轉意，提高了葬禮的級別。
趙禎
劉太後崩逝後，有人告知宋仁宗身世，還有說李氏是劉太後害死的。
宋仁宗疑竇叢生，一邊派兵包圍劉氏家族，一邊派人打開李宸妃的棺木，看到她穿戴的是太後的服飾，宋仁宗才知道差點被人騙了。
很顯然，這種與皇帝關系的修好是與太後關系保持的情況下進行的，呂夷簡真可謂長袖善舞，劉太後掌權他是太後的親信，宋仁宗親政仍是宋仁宗的親信，關鍵是，這種事隻需旁人一點，宋仁宗是很容易想明白的。
這個點透的就是宋仁宗的枕邊人——郭皇後。
《宋史·呂夷簡傳》記載：『帝始與夷簡謀，以張耆、夏竦皆太後所任用者也，悉罷之，退告郭皇後。
後曰：‘夷簡獨不附太後邪？
但多機巧、善應變耳。
’由是夷簡亦罷為武勝軍節度使、檢校太傅、同中書門下平章事、判陳州』皇後的一句多嘴，直接讓呂夷簡從皇帝親信變成了清算對象，於是一起被貶了。
呂夷簡
當呂夷簡得知貶官名單的時候還納悶著呢。
不過畢竟他在宰相任上多年，一隻手早已伸進內廷，不然他也不會知道李氏去世這種消息。
很快，呂夷簡知道是郭皇後在搞事，以他超絕的做人功夫和拿得出手的能力，不到一年又重返朝廷，當起了宰相，而郭皇後平白多了一個政敵而不自知。
就在這一年，郭皇後自己又犯錯了，因為嫉妒寵妃搶走了皇帝，她找上門去幹架，宋仁宗在旁勸架，還挨了一巴掌。
宋仁宗大怒，想要廢後，滿朝文武大多反對，但呂夷簡硬扛臺諫壓力，幫宋仁宗實現了廢後的願望。