無論統帥是謝玄、劉牢之還是劉裕（北府兵的巔峰是在他手上達到的，但是從此之後便不再有北府兵，因為劉裕成了皇帝，北府兵都毫無疑問是當時天下的第一強軍而像陳慶之的「白袍軍」之類的軍隊，雖然一度所向披靡，但只要主帥一死，立刻就從歷史上除名，這才是「出師未捷身先死，長使英雄淚滿襟」的根本原因。
人的生命很脆弱，可能病死、可能戰死、可能老死，也可能被朝廷撤換。換了主帥便不再強大的軍隊，是不可能完成鄭南成那宏偉的理想的，因為那絕不可能在一年兩年內完成。畢竟即使打敗金人，還有草原上的蒙古等遊牧部族呢，這一點南方人可能會忽略，但北方長大的鄭南成可不會這樣短視。而且北府兵這種軍隊還有一個極大的優勢，那就是因為晉陞制度健全合理，優秀的將領會自然而然地湧現出來，正是由於這個原因，當年宋武帝劉裕才能幹出殺掉一批名將再提拔一批，再殺掉一批再提拔一批這樣驚世駭俗的事情來
這種軍隊並不是一個垃圾帶兵也能所向無敵，而是其內部將領的優劣很容易就看得出來，沒能力的將領根本沒機會上位，就算因為某種原因上位了，也會被官兵們給排擠出去，這就是當年劉裕官位不高卻能號召全軍的道理，軍功擺在那呢！
岳飛並不是一個有政治野心的人，但他卻非常討厭別人干擾他的決策（當年還是小軍官時就敢跟長官王彥叫板，後來現錯的是自己後立即主動負荊請罪，但他只是為自己的錯誤而道歉，至於跟長官叫板這點他從來都沒覺得錯過，而他性格上的這個毛病也一直沒改掉，這是造成他人生悲劇的最重要原因，所以他要建立的軍隊，注定了是對他個人絕對服從的軍隊，即使是趙構，想要越過他調換岳家軍中的軍官也是不可能的。
也正是這個原因，注定了岳家軍不可能是鄭南成理想中的軍隊，韓世忠是沒能力建立，而岳飛是不想建立
除此以外，岳家軍的一些特點在鄭南成看來，並不像世人說的那樣全是優點。一是岳家軍的正義感過強，這的確是可以爭取民眾支持，在淪陷區尤其是這樣。但是，這樣一來，他們北進中原後，只要金軍採取堅壁清野（只要在守不住時焚燒軍糧即可，比完全的堅壁清野要簡單很多。）的政策，便幾乎無法從當地獲得補給，願意主動無償犒勞將士的畢竟只是少數人，這便帶來了沉重的補給壓力。其實以岳飛的個性，當初十二道金牌未必就能逼他回師，但是停止糧草供應卻讓他不得不低頭，這也說明了岳家軍對後勤的依賴。事實上，糧草問題確實是岳家軍最大的弱點，若不是岳飛在軍中有著近乎於神的無上威望，在幾次斷糧的危機中軍隊早就解體了。但是臨近邊境時總有辦法可催，一旦深入敵境，又不願就地解決，最後遲早要出大問題的，要知道岳家軍才打到開封而已，連金國縱深的五分之一都沒到，這也是當初6仁不太看好岳家軍成功的主要原因，三軍未動，糧草先行啊。
當然，岳飛不是偏執狂，實在走投無路的情況下，估計他也會放開管制的。但是這樣一來，依靠著帶有信仰心性質的強正義感團結起來的軍隊，將會信仰崩潰，後果如何那就很難說了。
不過鄭南成對岳家軍或是岳飛最不以為然的地方就是他立場混亂，公私夾雜不清（在鄭南成眼裡是這樣，其實不正常的是他自己。）。舉例來說，岳雲一旦觸犯軍法，岳飛必然重罰，但是有時實在罰得狠了，岳雲也有絕招，找奶奶說情岳飛至孝，遇到這種情況就只好不了了之。這件事上，鄭南成的看法是孝順只應該體現在私事上，身為全軍的統帥，因為個人的問題而影響公務，並不是什麼好事。
另外，金將曹寧被岳飛派出的內線以大義說動，叛金歸宋，並殺死了已經投降金國的父親，這對國家來說是大功一件，可是岳飛卻以其「弒父」為由將其逼死。鄭南成也很討厭曹寧這個人，畢竟弒父確實很冷血，但是掌握公權的人一切都應以該集體的利益為優先。曹寧這麼做也許不對，但是於公他是有功的，岳飛應該賞他才對。
鄭南成的思想就是：處理公事時，應該盡量排除個人因素的影響。但世上能做到這一點的人寥寥無幾，所以鄭南成注定得不到理解。
鄭南成雖然由於先天體質的原因，力量與耐力不是很好，但若論技巧，在各支軍隊中與無數敵人戰鬥過的他，已經罕有敵手了，要不然「孫瞎子」等人也不會服他。而無論是兵法理論，還是實際統兵與訓練的才能，即使當年將星雲集的岳家軍中，也沒幾個能與之比擬。儘管能力極強，但是無論在哪支軍隊，他都只能做到一個小軍官，然後便很難陞遷了，在岳家軍中時也不例外。但這並不是他離開岳家軍的原因，真相是：他進岳家軍是為了學東西的，沒什麼可學的了，他自然要走
之後的幾年裡鄭南成並沒有再次從軍，因為世上最強的岳家軍都不滿足他的要求，他實在不知道到哪兒可以學到他想要的知識了。不過幾年的平民生活倒是增加了他對底層百姓生活狀況的瞭解，為他日後成為軍政全才打下了一定的基礎。這段時間他結交了不少朋友，因為他在不涉及公事的情況下還是很重感情的，而且他處事公平，待人和氣，實在是一位很不錯的青年。但產生這些印象的前提是他沒有掌權，要不然對他的評價就會是怪胎、變態、無情無義、刻薄寡恩
儘管看上去已經安於平民生活，但鄭南成一直都在密切關注著天下形勢的展，尤其是名將的相關信息更是不住地撩撥著他那顆仍然火熱的心。吳玠死後，吳璘很快聲名鵲起，這立即引起了鄭南成的注意，尤其吳璘還是力戰型的將領。比起謀將的能力深藏不露來，實力派將領的能力則體現在無數的細節當中，反而是基層官兵更容易體會到他們的厲害之處。再加上兄弟兩個都是名將，這在某種意義上帶有了一些傳承的性質，這正是鄭南成最在意的，於是不久之後他便投入了吳璘麾下。
吳璘的練兵之法的確有其獨到之處，令鄭南成獲益匪淺，尤其是吳璘為了避免趙構的猜忌，更傾向於制度建軍，這與鄭南成的思路不謀而合，結果他在這裡一呆便是兩年時間。