張家玉，字玄子，號芷園，廣東東莞人，明萬曆四十三年十二月十三日(公元1616年1月31日)出生於東莞縣城西北村頭村(今東莞市萬江區村頭)一個貧窮家庭，家玉生性聰敏，精通經文，「好擊劍，任俠，多與草澤豪士游」，這一點對他日後影響很大。
張家玉19歲考取秀才，為廣州儒學生員。22歲鄉試中舉人後，其族兄張一鳳任廣西左江兵備參議，招他到官署中讀書，明崇禎十六年(公元1643)家玉中進士，授翰林院庶吉士，時年29。
崇禎十七年(公元1644)三月，李自成農民起義軍攻入北京，家玉報名被執，四月，家玉上《陳情書》及《薦人才書》與李自成，《陳情書》請賓而不臣。《薦人才書》薦劉宗周、黃道周、史可程(史可法弟)、魏學濂等。自成召見，長揖不跪；許以官職，亦拒絕，於是被縛於五鳳樓，七日不食，後獲釋。當李自成率兵抵抗吳三桂時，家玉乘隙奔回故鄉。十二月，在南京成立的南明弘光政府以六等定從李自成諸臣罪，家玉罪在五等，逮問至東莞，拘至南京，為有力者辯解，乃得免。
弘光元年(公元1645)五月，清兵攻破南京，弘光帝朱由崧被俘。張家玉走杭州，與黃道周、蘇觀生(亦東莞人)、鄭鴻逵等奉唐王朱聿鍵至福州。閏六月，朱聿鍵即帝位，改元隆武，家玉被授為翰林院侍講，兼管理《起居注》，不久兼理吏、戶、禮三科事。七月初一，隆武帝征江西，家玉請從軍，隆武帝愛其文武兼備，命為任兵科給事中，監督御右營鄭彩的永勝軍，出杉關，又賜正大光明銀印及數指令性的堂帖，便宜行事。十月，清將金聲桓圍撫州，張家玉率軍馳援。十一月，自十一日至十四日，先在許灣(今江西臨川)，後於千金坡，與清兵遭遇，家玉用埋伏誘敵之計，率眾奮戰，接連大敗清軍，十六日解撫州之圍。
隆武二年(清順治三年，公元1646)正月，家玉多次請鄭彩乘勝出兵西進，鄭彩畏縮，家玉請之再三，不得已，遣前鋒，至硝石，清兵將至，鄭彩竟盡撤其軍，棄新城(今江西省黎川)，入杉關。家玉與新城知縣李翔招募鄉兵防守。清兵至，家玉自帶親軍、鄉兵二百餘人與清兵戰於城南，在這場保衛福州門戶的屏障——新城之戰中，因眾寡懸殊，家玉兵敗、中箭、墮馬、折臂昏迷，幸得司都林雄蒙被、冒箭衝入陣中，才把他救回。
當時，隆武朝中，鄭芝龍掌管兵權，芝龍與清招撫江南大學士洪承疇有同鄉之誼，蓄意降清，竟然與洪承疇暗中相約：「(清兵)由旱路則撤杉關，由水路則撤水師。」鄭彩畏敵如虎，家玉有感於鄭氏的不可靠，遂自請募兵於潮惠，二月下旬，得到隆武帝欽准籌餉招兵，並為未來的新軍賜名「武興營」，寓意光武中興，委家玉為新軍監督總理。三月，家玉至潮惠，即招降鎮平(今廣東蕉嶺)賴其肖，得萬人，又招降嘯聚山林的黃元吉、黃如海，得萬人；家玉在潮惠共招農民軍十餘萬人，選取其中精壯萬人分為五營。下當家玉整頓軍容準備開赴前線時，撫州、福州相繼陷於清兵之手，隆武帝被俘於汀州。剛剛建立起立的武興營新軍，因大勢已去，士無固志，糧餉又缺，張家玉在失望之中，只好將武興營解散。於八月返回家鄉東莞，另謀起事。
十一月，蘇觀生擁立朱聿□(钅粵)於廣州，年號紹武，丁魁楚、瞿式耜擁立朱由榔於肇慶，年號永歷。廣東「百里之內，兩君抗拒」，二帝先而詆斥指責，繼而兵戎相見，於是高峽、三水之間，無日不戰。清將佟養甲、李成棟乘虛由潮惠以輕騎侵廣州，十二月十四日，清兵破廣州，殺朱聿□(钅粵)。清廷新任命的兩廣總督佟養甲，慕家玉之名，於是致書家玉，盡威逼利誘之能事，被嚴辭拒絕。佟養甲又糾合與家玉有交往的降清明臣及家玉同榜進士張元琳勸降，亦被家玉以：玉惜此發也(當時清兵入關，便令人民按清制剃髮)，拔去一莖，即禪我以清朝天子，猶且不屑，拘拘官爵，豈足雲乎？！拒絕。他一方面積極組織義軍，一方面派人與南海陳子壯、順德陳邦彥兩路義軍聯絡。(三人後被合稱為「廣東三忠」)
永歷元年(清順治四年，公元1647)正月，東莞知縣余經國降清，清軍入東莞，到處燒殺搶掠，引起東莞人民強烈反抗，中堂、道滘等水鄉一帶人民紛紛組織抗清。道滘的勝利鼓舞了張家玉，他立即派人到道滘聯繫，道滘首領葉如日派船迎家玉，尊為主帥。家玉精選驍勇精壯鄉兵五千餘人，加緊訓練，申明約束，整頓軍紀，誓師抗清。
三月初四，家玉起兵道滘，得惠陽淡水農民武裝首領李萬榮加入。三月十四，家玉率義軍約聯博羅韓如琰義軍攻入莞城，活捉清知縣鄭鋈，擒殺清典吏趙元鼎，同時任命原明朝的東莞儒學訓導張珆為知縣。佈置停當後即還師道滘，為收復廣州作準備。十七日，清廣東提督李成棟率大軍攻東莞縣城，張家玉與之大戰於萬家租。由於倉促應戰，且清軍人多勢眾，家玉兵敗，退回道滘。二十八日，清軍攻道滘，大戰三晝夜，義軍雖斬殺清軍千餘人，但自軍亦傷亡慘重，道滘遂陷。家玉敗走新安西鄉(今屬深圳寶安)，得到當地大豪紳陳文豹的，諸山驍勇皆起應之，遂重整義軍，接著攻克新安。四月初十，李成棟遣戚元弼及義子賈九率軍攻西鄉，為家玉所敗。
六月十七日，李成棟親率大軍陷新安，轉而攻西鄉。清軍勢大，張家玉且戰且退，沿虎門(今東莞市虎門鎮)、厚街(今東莞市厚街鎮)退到企石鐵崗(今東莞市企石鎮)，得草澤之友姚金、陳谷子、羅同天、劉龍、李啟新等投效之眾五千餘人，力量得到補充，便揮軍先陷博羅(今廣東博羅)，再克連平(今廣東連平)、長寧(今廣東新豐)、歸善(今廣東惠陽)，後回師博羅。清軍圍博羅，家玉脫圍至龍門(今廣東龍門)，又招募得四五萬人，不久攻陷增城。
七月，陳子壯在番禺；九月，陳邦彥在清遠，先後為清兵擊潰。十月，李成棟集結步騎大軍撲向張家玉駐地增城，雙方大戰十日，家玉兵敗，身中九箭，負重傷，不願被俘，遂投野塘而死，年僅33歲。
張家玉和眾多明末清初的抗清英雄一樣，具有至死不渝的愛國熱忱及毀家紓難的高風亮節的共同特點。但家玉與他們不同之處，在於對待農民武裝的開明態度。他自小受封建知識教育，決定了他不可能同意或參與李自成的農民起義軍。但可貴的是，他不像一般亡明士大夫那樣，對農民軍深惡痛絕，甚至於把明亡之罪歸於李自成，儘管他被李自成縛於五鳳樓七日，但說到明朝的覆滅時，他說：「我明所用不得人，至有今日之禍。」明室之所以亡，乃是「首逆」的「賣國」，並沒有大罵李自成。及後與顧之俊聯名上疏，懇請隆武帝聯合深明大義的李自成軍餘部高夫人、李錦等，立營「忠貞」。更有說服力的是，他起兵後，之所以能夠蹶而復起，敗而復合，都是得到農民武裝力量的，這一點足見張家玉與一般的士大夫的差別。