宋仁宗宅心仁厚、性情溫和，比較能克制激情與欲望，注意克己復禮。
但他並不是一個禁欲主義者，可以說相當好色。
景祐元年《1034年》，諫官滕宗諒上疏，對仁宗直言不諱地說：『陛下日居深宮，大開宴席，上朝時明顯精力不足，決策也不如以前高明了』
監察禦史裡行孫沔也上疏說：『一年之中，陛下花在國家大事上的時間有多少？
那麼多事不管，退朝後就往深宮躲，不用想都知道去幹啥了』
南京留守推官石介給樞密使王曾寫了一封信，其中說：『聽說皇上廢了郭皇後，寵幸尚美人，這事全國人都知道了。
有人說皇上好色，整日隻知吃喝玩樂，都沒個皇帝樣了。
最近又聽說皇上的身體大不如前，都是這事鬧的吧』石介寫這封信是希望王曾勸諫仁宗，他還說，如果仁宗聽了就算了，否則可以提出辭職，相信仁宗還不至於那麼糊塗。
滕宗諒、孫沔的奏疏與石介的書信均寫於景祐元年，談的都是仁宗好色的問題。
可見當時許多人都聽到了仁宗『好近女室，漸有失德』的傳聞。
原來，景祐元年，垂簾聽政的劉太後去世未久，仁宗開始親政。
劉太後在時，對仁宗管束極嚴，不許他親近美色。
仁宗成年選後時看中了王氏，但劉太後認為王氏太過妖艷，對他不利，硬將王氏嫁給她的侄兒，而將仁宗並不喜歡的郭氏立為皇後。
劉太後去世後，仁宗堅決廢了郭皇後，大概打心底裡想要擺脫劉太後留給他的陰影。
沒了劉太後的管束，仁宗開始縱情女色，時人說：『及莊獻《即劉太後》崩，上稍自縱』
當時仁宗最寵愛尚美人與楊美人。
尚美人自恃受寵，在仁宗面前編排郭皇後的不是，郭皇後得知，要打尚美人，仁宗趕緊勸架，結果郭皇後要打尚美人的一巴掌打到了他的脖子上。
仁宗大怒，這才生了要廢郭皇後之心。
郭皇後被廢，尚美人與楊美人更是得寵，仁宗日日流連後宮，形容疲憊，食欲不佳，有時一天都不怎麼吃飯。
這便是滕宗諒與孫沔相繼上疏、石介給王曾寫信的背景。
仁宗將出言不遜的滕宗諒外放信州當知州，將孫沔貶到永州監酒稅。
不過，由於大臣與內侍閻文應都對仁宗寵幸尚楊二人一事喋喋不休，仁宗最後不得不將尚氏送出宮去，將楊氏別宅安置。
到了慶歷年間，將門之後王德用又給仁宗送了個美女，仁宗也很喜歡。
諫官王素聽說後，直接找仁宗理論，要求他將美女遣送出宮。
仁宗笑著跟王素商量了半天，王素也沒松口，最後隻得依依不舍地將人送走。
嘉祐六年《1061年》，蘇轍在『制舉』考試的禦試試卷上直接批評仁宗好色，不過仁宗並未怪罪他，反而對他的直言、敢言十分贊賞。
仁宗確實有點好色，有時還有縱欲之嫌，但大臣敢毫不客氣地提出批評，他對批評者頂多隻是貶官而已，不會因此問罪。
甚至迫於壓力，他還不得不將心愛的女子送出宮去，這就是那個時代的難能可貴之處。