張玉是明初朱棣麾下的一位驍勇悍將，出生在祥符，也就是現在的河南開封。
早些年的他曾經在元朝時期當過樞密知院。
後來元朝滅亡後，又跟著皇室一路逃到了漠北去，直到洪武十八年才跑回來歸降明王朝。
在洪武二十一年的時候 張玉跟著大將藍玉一起北征大漠，成功在捕魚兒海一帶立下戰功，被晉封為濟南衛副千戶，不久後又遷任為安慶衛指揮僉事。
之後，又繼續跟著藍玉將軍一起征討遠順、散毛諸洞，多次擊敗前來騷擾邊境的殘元軍隊。
過後，張玉被調任為燕山左護衛，跟著燕王朱棣出塞，其間所展現出來的驍果善謀劃，使得其獲得了朱棣深深的信任和器重。
在當時燕王府的諸多將領中，張玉善謀，朱能善戰，他們一起被朱棣視為左右手。
在建文元年七月份的時候，燕王朱棣正式起兵發動靖難之役，張玉奉命帶領兵馬迅速占領了北平九門，之後又在三天之內成功控制北平全城。
朝廷駐守在薊州一帶的都指揮使馬宣聞訊後，立馬帶領一支人馬前來進攻北平，但成功被擊退。
此時朱棣剛剛打敗另一支朝廷軍宋忠，成功控制了居庸關和懷來等戰略要地。
朱棣見此情景，準備急匆匆地南征，此時張玉站了出來，果斷地表示不可，因為薊州外接大寧，這裡很多擅長騎馬的士兵，如果不把這個地方給攻取，將來會成為禍患的。
對此，朱棣趕緊派遣善戰的朱能過去襲擊薊州，經過幾番交戰，成功將馬宣擊殺，控制了薊州成，解決了北平城的後顧之憂。
而張玉也在這個時候，帶領一支人馬，拿下了永平、密雲等地，成功升任為都指揮僉事。
到了八月份的時候，朝廷便以老將耿炳文為主將，讓其帶著數十萬大軍北上，同燕軍作戰。
同時讓都督徐凱駐紮在河間；潘忠、楊松駐紮在鄚州；耿炳文則帶著主力部隊駐紮在真定。
張玉見此情況，當即向朱棣表示，潘忠和楊松這兩人都是有勇而無謀的庸才，我們可以嘗試著去襲擊一番，必定能夠將其成功擒獲。
於是乎，朱棣便以張玉為前鋒，趁著中秋佳節，朝廷正在盡力舉辦宴會都大好時機，直接徑直過去偷襲，成功將其攻破。
同時又帶著一隊輕騎兵去觀察一下，耿炳文軍的軍紀情況。
回來後，張玉對朱棣表示，耿炳文的軍隊紀律渙散，可以考慮急擊之。
由此，朱棣方才帶領大軍西向，直趨真定，並在這個地方，成功擊敗了耿炳文軍，一共斬首三萬。
不久後，又再度大敗安陸侯吳傑軍，全軍將士的士氣都來到了頂點。
到了九月份時，朝廷將李景隆提拔為南軍主帥，又帶著數十萬部隊氣勢洶洶而來，目標直指北平。
此時江陰侯吳高也帶著一支軍隊圍攻了永平，讓朱棣頗感腹背受敵。
朱棣和張玉一通商量，決定集中兵力援救永平，解決後顧之憂後，再回師救援北平。
當時的吳高一聽說朱棣親自率軍過來救援永平，當即二話不說，立馬開溜。
張玉帶領一支輕騎兵緊追過來，成功殺傷了眾多敵軍。
過後，又在張玉的建議下，朱棣率軍北上襲取大寧，也就是今天內蒙古的寧城，成功在短短兩個時辰之內就拿下了這座城池。
都指揮朱鑒被斬，都指揮房寬被擒殺。
還意外地收編了寧王朱權所部兵馬，實力大為增加。
在朱棣完全這一系列驚人操作之後，李景隆軍還圍困北平，便立馬回軍救援，雙方在鄭村壩和白溝河一帶兩度展開決戰，李景隆軍都被擊潰，一路逃到了濟南，在將濟南城圍了三個月之後，發現沒能將其拿下，便幹脆撤圍而走。
不久後又卷土重來，不過這一次的目標不是濟南城，而襲擊了滄州，成功擒拿其守將徐凱。
緊接著便與南軍新主將盛庸軍在東昌一帶相遇，朱棣不幸被中計，被敵軍給團團包圍起來。
幸得張玉、朱能此時分兵兩路，前來救援，成功讓朱棣脫圍而出，而張玉則身在戰陣之中，直接殞命疆場，享年五十八歲。