胡德濟是大明知名開國名將胡大海的養子，在朱元璋剛剛起兵的時候，胡大海便帶著養子胡德濟一起投靠了朱元璋，跟著其四處東征西討，立下不少戰功。
對於胡德濟是什麼時候成為胡大海養子的，其原本的姓氏為什麼？這種種問題都已經無法考據了，前期的各種戰鬥經歷也沒有詳細的記載。
隻知道其在從攻婺州期間，曾經當做是誘兵，引誘城中敵軍追擊，最終大破元兵於梅花門外，擒其將季彌章。
從此，胡德濟開始在歷史上聞名。
到了至正二十年，也就是公元1360年的時候，陳友諒進攻龍江，大有一舉掃滅朱元璋的氣勢。
而老朱則命令胡大海前去進攻信州，以此來吸引陳友諒的兵力。
信州被拿下來之後，朱元璋便任命胡德濟為行樞密院同僉，讓其把守在這裡。
不久後，陳友諒果真派遣別將李明道前來進攻，胡德濟同其力戰，雙方不分勝負。
等到胡大海率兵過來支援的時候，與胡德濟形成了前後夾擊的態勢，成功將李明道及其宣慰王漢二等一起擒獲。
不久後，胡大海本人便被早就投降的苗將蔣英所殺害，與此同時，處州那邊的降將李佑之，也成功將院判耿再成殺害，此時由朱元璋所控制的浙東開始混亂起來，張士誠便立馬派遣他的弟弟張士信去進攻諸全。
胡德濟聞訊趕緊從信州趕過去救援，在夜半時分，成功悄悄地摸進敵營中，將其輕輕松松地擊敗了。
此戰過後，胡德濟因功被擢浙江行省參知政事，並移駐新城，也就是現在的今浙江諸暨市南部，很快不甘失敗的張士誠又派遣其麾下的大將軍李伯升率領二十萬大軍前去進攻新城，胡德濟頑強固守，等到李文忠將軍率軍前來支援時，與之前後夾擊，將李伯升打得大敗而歸。
在胡德濟駐守新城的時候，其部下有人悄悄地把家人給移駐到新城內，這種做法在當時很明顯是違反規定的，因為在戰亂年代，是不允許士兵和家人在一起的，要不然士兵帶著家人一起當逃兵了，隻有讓士兵和家人隔開，才能夠讓其在當逃兵的時候有所顧忌。
李文忠獲知這一點都，便選擇把胡德濟的都事羅彥敬抓起來殺了，想要以此來給胡德濟一個簡簡單單的警告。
但李文忠的這一舉動，激怒了胡德濟的其他部將，他們紛紛吵鬧著要給個說法。
而胡德濟卻明顯站在李文忠這邊，稱李文忠將軍殺掉羅彥敬是情有可原的，他這是擔心我們會作亂。
所以這件事情就這樣過去了，你要是還不服氣，就不要怪我不客氣。
朱元璋聽說此事好，對胡德濟一番稱贊，認為他很有肚量，將其提拔為浙江行省右丞，鎮守杭州，並責備了李文忠一番。
後來，胡德濟跟著徐達一起參加北伐元朝的戰爭，但在攻打安定州時，他作戰不利，其麾下多員部將都被徐達依照軍法處斬，而胡德濟本人則被押送往南京，供朱元璋處治。
朱元璋念在胡德濟過往的功勞上，不追究他此次的戰敗過錯，並任命他為都指揮使，鎮守陜西，後來他便直接在任上病逝了。