約翰尼斯-弗裡德利希-利奧波德-馮-澤克特於1866年4月22日生於石勒蘇益格。他是一個普魯士將軍的兒子，於1885年作為軍官候補生加入皇家亞歷山大近衛擲彈兵團。1893年與多蘿西-法比安結婚，婚後無子女，但夫妻感情很好。
他很早就體現出在參謀工作方面的才華，於1897年進入柏林的軍事學院學習，之後交替服役於一線和參謀單位。1899年他調入總參謀部擔任助理，這時他還只是個陸軍中尉。1913年被任命為駐柏林的第三軍的中校參謀長後，他任此職直到一戰爆發。第三軍隸屬於亞歷山大-馮-克魯克的第一集團軍，在德軍著名的「施利芬計劃」中擔任最重要的右翼攻勢。在馬恩河戰役後，第一集團軍被迫回撤。但馮-澤克特在這次戰鬥中充分表現出了他的個人才能和領導能力。
1915年1月27日，澤克特晉陞為上校，轉任在東加裡西亞新組建的奧古斯特-馮-馬肯森的第十一集團軍的參謀長。在1915年5月2日開始的戈爾利采-塔爾諾夫戰役的突破中，第十一集團軍一共向前推進了300公里，到9月底完全拔除了波蘭突出部，徹底解除俄軍對加裡西亞的威脅。這場勝利中馬肯森的指揮固然重要，澤克特的精妙策劃更是不可或缺。他因此晉陞為少將，並獲得了藍馬克斯勳章。1915年10月-11月，他策劃完成了對塞爾維亞的佔領。這一戰績讓馮-澤克特得以為他的藍馬克斯勳章添上了橡樹葉。
由於俄軍布魯西諾夫騎兵上將在19年6月所執行的壯大攻勢，奧匈帝國遭到了沉重的打擊。澤克特因此被任命為奧匈聯軍的參謀長，其任務是進行軍隊的休整並提升戰鬥力。這個工作由於德國與奧匈帝國之間日益增長的敵意而並不容易完成。澤克特很快發現，和奧匈同事交好是一件困難的事情。儘管如此，澤克特成功的完成了這個任務。背負著再次創造同樣奇跡的期望，他於1917年10月被派往土耳其擔任陸軍總參謀長。但是這個任務即使是馮-澤克特也無法完成。巴勒斯坦戰場上，艾倫比於1918年9月19日發動的進攻擊潰了桑德斯的土德聯軍。10月30日，土耳其簽署停戰協定，允許所有的德國人在30天內離開土耳其。
澤克特於11月13日回到德國，保羅-馮-興登堡讓他負責組織在烏克蘭和整個東部前線德軍部隊的撤離事宜，他在十分困難的條件下出色的完成了任務，這讓他進入參加巴黎和會的德國代表團擔任軍事代表。隨後澤克特被晉陞為中將，於1919年7月7日-15日期間接提興登堡，擔任德軍總參謀部解散前的最後一任總參謀長。10月11日出任有實權的陸軍總參謀長，並開始著手建設一支十萬人的精銳部隊——這是凡爾賽條約規定的最大規模。1920年3月，他成為德國國防軍總司令。這時64歲的他正要開始其人生最大的事業。
澤克特的個性是「冷淡」、「易怒」、「冷冰冰」，他的外號是「斯芬克斯」，總之，他具有強烈的個性。曼斯坦因如此描述澤克特，「每個人都已感覺到他的內在激情和使他成為軍隊領導者的鋼鐵般的意志。」他不是一名理論家，更多考慮作戰層面。他如此表現對於理論家的敵意：「有三件事情是由人類的大腦徒勞無益地與之較勁的：愚蠢、官僚和口號」。
澤克特認為人是其軍隊重建的核心問題。他幾乎把所有的責任都委託給能幹的參謀，他親自負責監督訓練。他以名義上的「和平時期軍隊組織委員會」復活了原來的總參謀部，對軍官團的訓練尤其不遺餘力。最後，德國的總參謀部提供了一個小規模但具有強烈事業心的幹部隊伍，以便指導其他的核心參謀和戰鬥隊。他的價值在1933-1940年得到了體現，這一時期德軍增加了50倍，但同時還使運動作戰學說不斷完善。在二戰中，總參謀部畢業的大部分畢業生以及部隊參謀和指揮官在作戰水平上表現得都非常出色。
澤克特他懷疑傳統類型的龐大軍隊能夠依據追求快速決定性勝利的戰略進行運動戰，相信小規模的、長期服役的、職業性的、運動的軍隊。他於1921年發起一次對戰爭教訓的正式研究，這次研究成果形成了《487號軍隊條令》，澤克特親自撰寫了其中的「領導與使用合成兵器戰鬥」。這本書成為直到30年代之前德國軍隊訓練的基礎，從30年代起，他們被修訂為著名的《300條軍隊條令》，一直使用到1945年。
新德國軍隊的學說源於吸取的上述教訓。新的學說最顯著的部分是關於裝甲戰與空中力量的一體化。為了對《凡爾賽條約》所禁止的坦克和飛機戰術進行訓練，他以對紅軍的訓練援助換取在蘇聯建立了秘密的訓練中心。這個訓練中心包括三個非法的訓練項目：裝甲、飛機和化學戰。
發展裝甲戰是對一次大戰公認的技術失敗所做出的反應。澤克特偏愛殲滅戰戰略，而不是消耗戰戰略。他強調運動，他的訓練命令是由一句口號開始的——「作戰就是運動」。儘管澤克特在許多領域具有前瞻性的觀點，但是，直到他去世，他對騎兵令人感到奇怪的一往情深，這一點至今依然被指責為視野狹隘。此外，他從來沒有完全贊同過與其他武器和空中力量協調作戰的大規模裝甲部隊具有強大的能力。雖然澤克特從來沒有完全理解機械化戰爭的力量，對如何精確的進行坦克戰沒有把握，更多的強調對騎兵師實現摩托化後勤保障。但是澤克特並沒有對古德裡安等人推動的變革採取具體的反對行動。另一方面，古德裡安和其他人的實驗結果形成了一個主張大規模陸軍和澤克特「貶低大規模軍隊」二者之間的綜合體，他們在軍隊之中建立了軍隊——一支小規模由裝備精良的裝甲部隊構成的軍隊。德國人進一步將一戰中的風暴部隊戰術（即胡蒂爾戰術）發展成為機械化全兵種學說。
澤克特對空軍作戰的革命性質有著更為廣泛和深刻的理解。他在新建的德國軍隊中抽出180名軍官，倡導建立獨立的空軍兵種。由於《凡爾賽條約》禁止這麼做，他組建了影子空軍。所有的演習都需要空軍的加入並且得到了廣泛的仲裁。他的空軍學說以對地面部隊的支援為中心，以獲取空中優勢為最高原則。和美、英兩國不同，德國使用轟炸機來實現現在所說的戰場空中遮斷。為了這一目的，德國人集中建設戰鬥機，然後是對地面的攻擊機，最後是轟炸機。
總而言之，澤克特的軍隊最突出的地方在於其政治領導和政策的密切整體性、士兵的優先地位、適當的參謀體系和正確的學說。這個時期的德國軍隊小卻幾乎無可挑剔，是歷史上最傑出的軍事機器之一。
綜上所述，後來的德國軍隊具有鮮明的澤克特的個人風格。觀察二戰戰史就不難發現，德軍的輝煌戰績，尤其是初期戰績和澤克特的努力息息相關。但是，澤克特的計劃也存在著若干缺點。這導致了一些批評，認為這些缺點是二戰中德軍最後失敗的部分原因。
麥克爾-吉耶對德國軍隊獨立於政治現實之外給予了嚴厲批評。他認為這導致了意識形態和技術至上主義的融合，它推動德國進入第二次世界大戰並且遭到沒頂之災。他認為，澤克特使得德國人把注意力集中於作戰藝術上，眼光盯在獲取戰爭的快速勝利。把戰爭的實踐者和戰略家區別開來的結果導致德國在二戰中許多作戰的成功都不具有持久性的戰略影響。吉耶成功的描述了一支試圖脫離政治結構而獨立存在、過於追求作戰層面勝利的軍隊是非常危險的，他清楚地展示技術上的卓越本身只是一個空殼。
對澤克特軍隊的最強烈批評是總參謀部的軍事視野過於狹隘。以至於到了1934年，總參謀長進一步縮減了沙盤演習訓練的重點，從戰略作戰層面縮減到戰術（師和軍）層面，這導致了對後勤和情報科目的忽視。正如艾伯特-西頓所寫的那樣「軍隊參謀部的行動很少超過大戰術的層次，它的許多成員都滿足於猶如在真空狀態下作戰，把200英里半徑當作戰略問題考慮。」
最具說服力的批評是一位德國學者指出的：「德國在意志和領導方面的優越感，對他們武斷和短視地評估潛在對手的能力負有不可推卸的責任。」
此外的一些指責包括：重新武裝的努力在經濟方面是脆弱的，很大程度上忽視了德國經濟的弱點；德國空軍在戰術方面很成功，卻不能完全勝任各種水平的戰略行動等等。
當然，總的來說澤克特建立的這支軍隊工作得很好。1940年那次歷時7周的攻擊戰摧毀了法國軍隊；德國軍隊隨後在北非、巴爾幹、特別是在俄羅斯進一步執著於戰術和作戰層面的勝利。在接近第二次世界大戰結束時，德國軍隊的領導和學說成功地推遲了希特勒國家的毀滅，儘管盟軍在物質方面有壓倒性優勢。應該說，澤克特出色了完成了他人生的最大事業，以「二戰德軍之父」的身份進入歷史殿堂。
1926年初秋，他對君主制的熱情斷送了他的職位。他允許一名霍亨索倫皇家家族的成員穿上軍服出席一年一度的軍事演習，這是《凡爾賽條約》專門禁止的，也與當時德國的共和情感上升發生了碰撞。澤克特於10月8日被迫辭職。
1930年，他競選成為議員。在他任職於魏瑪共和國國民議會的期間，馮-澤克特與希特勒的納粹黨交往密切。
他於1934年被派往中國協助建設一支現代化的中國軍隊，擔任蔣介石的德國軍事顧問團團長。他的建議對國民黨發動的對江西紅軍的第五次圍剿頗有價值，這次戰役引發了史詩般的紅軍長征。他曾擔任委員長委託人，代表蔣介石本人處理軍政事務。此外，他為國民黨訓練建立的幾個德式裝備的師在抗戰前期也發揮了重要作用，是初期抗日的核心力量。
1935年3月，他返回德國。1936年12月29日，因心臟病卒於柏林。