黃淮是明朝初期一個舉足輕重的大臣，出生在永嘉，他的父親叫做黃性，在元末時期因為家鄉時常遭到方國珍的騷擾，所以便隻能隱姓埋名地躲避起來。
知道洪武末年的時候，黃性才讓自己的兒子黃淮出來參加科舉考試，成功考中了進士，被朝廷授予中書舍人。
到了朱棣入主南京，當上永樂皇帝之後，他比較看重黃淮的才華，經常讓他和另一才子解縉一起待在自己的身邊，當做顧問，彼此之間經常暢聊各種政事，很多機密事務，朱棣都直接讓他們知曉。
不久後，黃淮便與解縉、楊士奇、胡廣、金幼孜、楊榮、胡儼等六人一起入直文淵閣預機務，這就是明代內閣制度的雛形。
所以黃淮就是明代內閣初創時期的一個核心成員。
有一次，朱棣讓下面的人討論應該裡誰為太子，黃淮就此直言表示應該遵守嫡長子繼承制。
度的禮法規定，就立皇長子為太子朱高熾。
不久後，朱高熾被順利立為太子，黃淮也因此被委任為左庶子兼侍讀，後又提拔為右春坊大學士。
在永樂六年時，黃淮和與胡廣、金幼孜、楊榮、楊士奇一起輔導皇太孫朱瞻基讀書。
在朱棣幾次北征韃靼期間，黃淮都被任命去輔佐皇太子朱高熾監國。
永樂十二年的一天裡，朱棣北征韃靼回來，皇太子朱高熾因為在派使者迎接朱棣這一事情上，稍微遲緩一些。
此時漢王朱高煦從中譖言挑撥，朱棣就此認為這是黃淮他們沒有履行好輔導太子的責任，便將黃淮，連同楊溥等人一起關進監獄了，長達十年。
直到朱高熾繼承皇位之後，方才下令將黃淮他們給釋放出來，並官復原職，不久後便被提拔為少保、戶部尚書，兼大學士。
仁宗皇帝朱高熾隻當了十個月的皇帝便草草駕崩了。
當時太子朱瞻基還遠在南京，而漢王朱高煦則早有異謀，滿朝文武為之人心惶惶，黃淮更是為之擔憂到直吐血。
等到朱瞻基順利登基當上宣宗皇帝之後，他立馬親自帶著一支軍隊去征討想要造反的漢王朱高煦，特別任命黃淮留守在北京。
等到第二年的時候，黃淮便以自己年老多病為由，向皇帝請求辭官回鄉，朱瞻基同意了，當時黃淮的老父親黃性還尚存人間，年已九十歲，但沒過多久黃性便去世了，隻剩下黃淮孤零零一個人，無所牽掛，到處遊山玩水。
一直當到正統十四年六月份方才病逝，享年八十三歲。