陳思盼授首以後，浙江海面再沒有能夠抵抗李彥直的力量，他移師普陀山，要在這裡檢閱三
這普陀山對李彥直來說卻是舊遊之地，抵島之後仍到普濟寺下榻當初李彥直就是在這普濟寺中與陸爾容相識的，時隔兩年舊地重遊，寺中僧侶大多還在，見到李彥直紛紛合十定禮，這個說：「李都督果然是羅漢下凡。」那個道：「李都督乃是金剛轉世。」比昔日更多了十二分的奉承。
主持親自為鎮海侯的夫人、公子都立了長生牌位，聲稱將日夜誦經祝福，李彥直見他們奉承周到，也就不好不捐點香油錢。又說：「你們放心好了，從今往後，觀音大士的道場不會再亂了，經過這一次之後，這裡至少太平一百年。」心念一轉，覺得將來自己的妻兒到普陀山來遊玩的機會很大，就讓和尚們給伊兒母女也點長生燈，免得將來家眷來上香時問起生吵鬧。
第二日各部軍隊到達完畢，李彥直就帶了張岳、殷正茂、戚繼光、胡宗憲等人在港口閱兵。軍隊分為四部，第一部是海府軍本部，這部軍隊以雞籠寨機兵為底子，在實戰中吸收了大量的精兵悍將，全軍精神抖擻，軍備精良，紀律嚴明，雖只萬人，卻已氣概不凡。李彥直指著這部軍隊說：「開平王（常遇春）曾說，能統帥十萬之眾，則足以橫行天下。像這樣的軍隊，若有十萬，確實足以橫行天下了。可惜眼下只有一萬人。」
張岳殷正茂等都只是附和稱是，胡宗憲跟了李彥直兩天，對他的脾氣稍微摸到了一點門道，知道他並不喜歡應聲蟲，而且似乎不忌手下張揚，就指著第二部人馬說：「這支軍隊人數也不多，可假以時日，亦是一支精兵。可成都督的左右手。」
這第二部乃是戚繼光所部的新軍，訓練未足，軍械未齊，可精神面貌也都是上上之選，胡宗憲這句話既討好了戚繼光，李彥直也頷首稱是。讚他有眼光。
看到第三部軍隊時，這一部人數最多，約有五萬，分作二十列，站了半個海灘，卻是投誠之海盜歸入私掠艦隊者，這一部良莠不齊，品流複雜，雙手沾滿鮮血的大盜。不守戒規的和尚道士，渡海西來的倭島浪人，甚至還有身材矮小的黑人。高鼻深目的白人也不知是阿拉伯還是佛郎機。這五萬人多有凶悍之輩，但隊伍站得有些鬆散，顯然紀律不明。
李彥直問胡宗憲：「這部人馬如何？」
胡宗憲見他問自己，心中竊喜，他也早有準備，不慌不忙答道：「這數萬人可以為福，也可以為禍。全用是不行地，從中挑出一萬人來，也是一支精兵。只訓練統兵者卻須得其人。否則就會適得其反。」
李彥直心中卻早有打算：「等到達大員，取了王牧民回來，就將這一萬人交給他折磨。」笑了笑：「那剩下的呢？」
不可用的降兵如何安置乃是古往今來最麻煩的問題，若處理不當便會如宋朝一般稱為國家最大的惡瘤。
胡宗憲心想：「這話可難回答。我心中雖有計較。但眼下這場合。也不合適說這個。」可李彥直既問。就不好不回答。沉吟了一下答道：「怎麼處理剩下地人。只能做。不能說。」
張岳聽了眉頭微皺。覺得他是在故弄玄虛。李彥直卻聽得心頭一悅。想道：「這人不但頗為知兵。而且懂權謀。說話知道分寸。難得！難得！」
看到第四部軍隊時。這下包括李彥直在內。所有人都皺起了眉毛。因為這部人馬實在太不像話第三部人馬雖不太守規矩。但一眼望過去還讓人心中頗生畏懼之心。就像看著一把沒有刀柄地雙刃劍。怕它傷人。而這第四部人馬卻是讓人生厭。就像看到一大堆蠕蠕而動地寄生蛔蟲。兩三萬人地臉上。幾乎個個都是一種入骨地皮。入骨地痞。這是一種沉澱了上百年地油滑乃是一群祖祖輩輩傳下來地兵油子。
這第四部軍隊。就是浙東沿海衛所奉命前來地衛所官軍了。他們雖是正規軍。但卻全無半點正規軍地樣子。顯然不但身體條件大多不過關。而且平時也未訓練。
李彥直歎了一口氣。對諸將道：「我明日就要南下大員去捉王直。可這幫只會擾民、不會打賊地傢伙實在讓人煩惱。你們誰能幫我整頓整頓他們？」
這句話出來。殷正茂頭伸了一伸。想攬下來。但想到此事地困難程度。終於忍住了他和李彥直是同科進士。淵源深厚。不需要在這種吃力不討好地事情上搏出位。
戚繼光善於練兵，可他本人就是衛所世將出身，對這些衛所兵地底子那是熟得不能再熟，心中早判定這幫人是無可救藥否則他何必選擇另練新兵？
徐元亮是海賊出身，剛出海時沒少吃過他們的虧，對這些人厭恨入骨，心想若能當這些官兵老爺的頭兒折磨折磨他們那也是件痛快好玩的事，可是爽是爽，爽完了怎麼辦他卻沒主意，所以他也不敢攬上身。
其他諸將如盧鏜、張岳等或有所保留，或資歷不夠，也都不敢出聲，只有胡宗憲想：「這裡就我跟都督的時日最淺，這事雖然難辦，但別人既然都不敢接，就是我的機會。」所以等到李彥直的眼光移到自己身上時，竟出口問：「不知都督打算整頓成什麼結果來？」
李彥直聽他不負自己的期望，果然開口有接手之意，滿意地點了點頭，笑道：「我也不盼把他們整成一支精兵，只求他們不要成為國家的負擔就是了。」
「不成為國家地負擔？那勒令他們無事不得出營，不就行了？」胡宗憲說。
「不是這意思。」李彥直悠悠道：「我是說……嗯，國家現在很困頓，怕沒錢養沒用的人了。」
這句話出來，張岳、徐元亮等都大覺痛快，戚繼光卻臉色微變，為何他臉色會變？因為李彥直這句話的意思分明已有廢除衛所供給的暗示。斷掉衛所體系的供給，那就等於是要斬斷衛所制度的根。
戚繼光是衛所體制的既得利益者。由於其祖先的戰功，他擁有山東登州衛正四品指揮僉事地繼承權。他自北京一戰以來連續得到李彥直地提拔，如今已位列從三品，高出了他從祖上繼承下來的官職，以他的戰功和年紀，將來積功累進。就是做到一品武官也毫不稀奇，但是按照大明的體制，這些功勳都是及身而止，山東登州衛的才是他地戶籍所在，是他真正的根，只要大明的戶籍制度與武官體系不變，戚繼光一生的俸祿，以及他子孫地俸祿都會在登州衛支領，他正常地繼承特權都應用於登州衛。從整個家族延續的角度考慮，相較於他在登州衛地繼承權，宦海巔峰十年二十年的風光都不過是過眼雲煙。
如今明眼人都已看出：李彥直一系已有顛覆天下地趨勢。戚繼光又已進入李彥直團體的核心，只要把握得好，在新體系內他也能獲得巨大的利益。繞是如此，在涉及到衛所制度變更一事上，戚繼光心裡還是浮起了一個疙瘩，產生了一點猶豫，則其它沒有從李氏這裡得益地衛所官兵會有多麼強烈的牴觸就可想而知了。
戚繼光的眉頭只是微微一皺，但李彥直卻已留意到了，這件事情的難處心中深知。因此未得其人、未得其策之前，一直不敢妄動。
閱兵結束之後他回答普濟寺，胡宗憲跟了過來，李彥直也沒阻止，入東廂後，李彥直才對胡宗憲道：「汝貞，怎麼處理衛所那幫冗兵的事，你可有什麼想法沒有？」
汝貞是胡宗憲的字，胡宗憲見李彥直竟然能記得自己的字。而且如此稱呼，大見親熱，看來又栽培自己的意思了，心頭一喜，答道：「這事也急不得。」
「我不是現在就要完成，」李彥直說：「但也差不多要開始做了。只是我現在要先對付王直、破山，維護東海商路的暢通，其它事情必須靠後，所以希望其它事情在做地同時。不能干擾了這兩件大事。」
他這句話裡透露了一點他的既定策略。對胡宗憲這種剛剛跑來投靠的官員來說，那更是難得的信任了。胡宗憲雖然心裡明知這是一種拉攏手段，卻還是十分受用，臉上就露出士為知己者死的神色來，說道：「都督！下官雖然不才，卻也願意為都督冒天下之大不韙！都督若有什麼想法就儘管吩咐吧，下官縱然肝腦塗地，也在所不辭。」
他話雖說得慷慨激昂，但其實是知道既然要投靠李彥直，那麼為李彥直付出的越多，得到的信任就越大，將來收益才會越高，危險反而越低。至於這個體系外的人說什麼，怎麼看待他，就不需要計較了。
「我要你肝腦塗地做什麼？」李彥直笑道：「我是希望大夥兒都能發財，發正路的財，發長久地財。」
「啊，是，是。」
李彥直又說：「再說，能為我背黑鍋、肯為我背黑鍋的人多了去，我選了你，卻是希望你能把事情幹好。」
「那麼……」胡宗憲在很短的時間內將這件事的利害得失梳理了一遍，覺得此事若做成了不但利國利民，不負自己平生之志向，而且取得李彥直的信任之後，只要李氏不倒，往後自己的前程就一片光明了！
「那麼都督，你究竟想怎麼處理這些……這些冗兵呢？」胡宗憲問。
「我想讓他們恢復一點野性，這樣做，短期內只怕這幾十萬人都會把我罵死，但長遠來說，卻是好事。」
「野性？怎麼恢復野性？」
「狗養得久了要賴皮。」李彥直道：「要是重新放回原野，任其自生自滅，當然一定會死掉一大片，但剩下那些，興許會變回狼呢。」
胡宗憲眼睛一亮：「流放？」
「說得好！就是流放！可是你要是說流放幾十萬人，只怕當場會有被牽連到的幾百萬人起來造反啊！」
浙東的衛所官兵也沒幾十萬，可這種事情歷來是牽一髮而動全身，李彥直既動得浙東，便能動福建廣東，南北直隸，山東山西……所以哪怕他只是要動一隅，哪怕要邁出一小步，全天下的衛所官兵也會起而跟他拚命！
李彥直要考慮地事情太多，這件事只是其中地一小塊，一時還沒能深入進去，就想讓胡宗憲回去想想，等有主意來再說，不想胡宗憲深沉多智，微一沉吟，竟然就說：「都督，若都督是這麼打算，此事倒也不甚難。」
李彥直一奇：「不甚難？難道你有什麼奇策不成？」
「奇策說不上。」胡宗憲諂媚地一笑：「主要是得借助都督的威權，咱們就以軍制內之名，來行破此軍制之實。」他還沒具體說明如何以假借軍事體制之內地規矩行破壞體制之事，但李彥直只聽了這個思路，已覺得：「很有意思！說下去！」
「簡言之，就是借一個名義，將衛所裡的人清空。人若都不見了，軍制似乎仍在，其實已經不在了。久而久之，這衛所就會成為一個虛名。」
李彥直似有所悟：「把衛所清空……可清空去哪裡呢？」
「都督說去哪裡……」胡宗憲笑了起來：「就讓他們去哪裡。」