當然，當時賴宣也是這樣想的。然而，家康死後，卻突然傳出消息，將他改封到了紀州。
「元和五年（一六一九），台德院公（秀忠）將賴宣的領地定到紀州時，曾召見過安籐帶刀（直次）。據傳，台德院公說：『紀州是西國鎮守的第一要地。因此，必須派至親之人前去才行。賴宣雖然年輕，但也有相應的責任，應該前往他的封地。雖說如此，據家康大人的遺命，其封地應為駿河，如今更改到別的地方，心裡該是有些難以接受。但此事只能如此了。』其時，吾答道：『大君（秀忠）之命豈能違背？吾本當捨命為國，區區駿河不足掛齒。請將軍放心，吾當領命前往紀州，忠心守衛幾內和西國。』於是，又給我添了五萬石的土地，紀州和勢州內部一併歸我封地。（下略）」（同上，出自《御事歷紀要》）
家臣中也發生了一些騷動，但賴宣非常清楚哥哥秀忠的想法，因此兩遍答覆之後便前往封地了。
前往駿河的肯定是家光的弟弟，忠長。事實上，忠長即便是去了紀州，也無法擔當鎮守西國的重任。
因此，賴宣在前往紀州的同時，也在尋找能夠擔當西國鎮守的合適人選。就是在這途中，他認識了由井正雪……
由井正雪從京都回到領地後，又立即前往和歌山城去追趕賴宣。
那時，賴宣也有想問的事情，於是便傳他進來，遣退家臣後，兩人會面了。
不用說也知道，他只留名取三十郎一人在身邊。
「民部，你終於來了。」
賴宣仍然用他那平易近人的語調打著招呼，
「你也很失望吧。關於這次的鎖國令，我也是什麼都不能做。」
「那麼說，街上的傳言說那些如今還待在國外的人，全部都不能回國了。這是真的嗎？」
「有這樣的跡象。這樣一來，不知道流離各地的日本人有沒有活下去的辦法啊？」
「這的的確確是前所未聞的愚蠢計劃。」
「你有什麼好的對策嗎？」
「紀州大人，若對這件事情置之不理的話，便是日本的恥辱，會遺臭萬年的。」
「此事我也明白。所以我才問你有沒有對策啊。」
「區區民部怎麼可能會有對策呢。」
「這樣啊……」
「若是一直這樣下去日本國內的秩序會變成什麼樣啊？提及這個問題，只能拜託紀州大人您趕快想辦法，作決定了。」
「哦，已經到這地步了啊。」
「如今，國內有大批浪人，紀州大人您也很清楚。」
「正因為我知道，所以我才會想幫助駿河大納言舉旗出海，結果，落空了。」
「這樣的話，紀州大人您不能代替駿河大人嗎？」
「我正是對此毫無辦法才頭疼啊。關鍵是熊本那邊先遭遇了改易之變。因為我是熊本家的親戚，所以就會束手束腳。」
「紀州大人！」
「怎樣，民部？」
「因為束手束腳，所以想不出好的對策？」
「正是如此。所以我才問你啊。如今，你聚集的浪人人數，大概有多少了？」
「這就要看大人您的決心了。五萬也好十萬也好，都是有的。」
「五萬十萬……是成不了事的。這是有先例的。朝鮮之戰，豐太閣派到戰場上的士兵有二十萬，卻也未能到達鴨綠江。」
「那麼，究竟需要多少兵力才可以遠征大明國呢？」
「此次將軍上京。從江戶到京都，動員的人數達到了三十萬七千……因此，至少也得是這個數量的四倍。」
「三十萬七千的四倍，也就是一百二十二萬八千人？」
「只有達到這個數量，才夠從朝鮮渡過鴨綠江。但這也行不通了。因為幕府已經頒布了禁止航海的命令。」
「這麼說，紀州大人您已經完全放棄了嗎？」
「並不是完全放棄。只要有必勝的手段，而且準備充分的話……」
聽到賴宣這麼說，留著總發的正雪凝視著他，微微笑了。
「若是一個一個挨著去說服浪人們加入的話，一年可以召集到三百六十五人。」
「是啊，十年就是三千六百人。」
「的確如此，花一百年也只能召集三萬六千人。」
「哦，是這麼計算的啊。」
「不過，若是去說服一人統領一萬武士的大名的話，只需要一百二十人就夠了。還有，若是兵士中有可以以一當千的人，那麼所需兵士的總數又該如何計算呢？」
「的確若是只召集那些可以以一當千的豪傑的話……那便只需要一百二十萬的千分之一，也就是一千二百人就足夠了。」
「哈哈哈哈……」
正雪笑得異常開朗。
「果然，計算就像魔術啊。彷彿是說沒有這一千二百人，一百二十萬的軍隊就不能行動。」
此時，賴宣突然擺出一本正經的表情。
「如何，民部，你的執念，大致可以停止了吧？以一當千的勇士之類，只不過是文字遊戲罷了，實際上連我身邊都找不到這樣的人。」
「小人冒犯了，但強將手下無弱兵。想把那些還不能以一當十甚至以一敵一的士兵訓練成能夠以一當千的勇士，關鍵在於教育。」
「這麼說，你現在是鼓勵我去訓練出能夠以一當千的勇士嗎？」
「正如您所說……其實，讓我下這個決心的人，正是紀州大人您。」
「民部啊！」
「在。」
「我也並沒有說，聚集不了一百二十萬人就無法起兵。俗話說，士為知己者死。不過你可不要誤會。我並不是喜歡發動戰亂的人。」
「這些小人都清楚……」
「如今，在這個好不容易才扎根的太平的國家，無處可居的浪人實在太多了。正是因此，我才開始想辦法的。」
「若是這件事的話，民部也……」
「至少，我想帶領這些只懂得打仗的武士們去戰爭還未平息的國家，讓他們去平定戰亂，成為一國之主。這才是我的心願。明白了嗎？我決不是想擾亂這個國家的天下。你可千萬不要弄錯了。」
正雪聞言，咧開嘴笑了，點了點頭。
「這樣就好。不久，我們還會在江戶再見的吧。你就說，今天是向我傳授軍學來了。然後只管在江戶宣揚治國平天下的道理，等著我前往江戶就好。」
說到這兒，賴宣才第一次回頭看了看同席的名取三十郎，說：
「三十郎，我們的話說完了。你去把飯菜悄悄端過來——不要引起別人的注意——和民部一起吃吧。明天早上你再親自將民部送出城，千萬不要引起無謂的風波，明白嗎？千萬要小心謹慎。若是讓人察覺到民部來此的用意，他就不可能安然出城了。」
三十郎一副瞭然於胸的表情答應了，賴宣便起身離開了會客室。
紀州公不愧是東照權現心愛的兒子，在此就能明顯看出，由井正雪只能望其項背。
賴宣去紀州之前，遠州、三州的城主們都是他的助手。不過，松平主殿守、松平河內守、大須賀國千代、松平玄蕃允、戶田因幡守、水野遠江守和久野丹波守等領有十五萬石土地的助手都受命留在了舊領地，和賴宣分開了。若賴宣是世間常有的膽小鬼的話，只怕早就青筋暴出，怒火連連了吧。
不過，家康大人十分中意的這個兒子，卻一點愕然的神色也沒有，只用一句話就讓付家老帶刀安籐直次信服了。
「大君之令豈能違背。」
說著，賴宣便移到和歌山城。
然而，在賴宣讓出的駿府城，將軍家光的弟弟忠長卻一敗塗地。此時，若是賴宣說：
「駿府城曾是父親家康賜給我的，因此，不管如何，希望能歸還於我。」
家光斷不能輕易拒絕。
大炊頭土井利勝當然對此件事情瞭然於心，也定是因此才果斷處分了加籐父子。
不過，這時的賴宣，也採取了令家光和土井利勝都很意外的做法。
「賴宣總算在紀州紮下了根。只要小臣和井伊掃部頭從兩方守護著京都，日本就可安寧太平了。」
就這樣不著痕跡地將自己絲毫沒有要回駿府城的意思，傳達給了家光。
這樣一來，連土井利勝都敵不過他了。
和名古屋的義直一起，作為御三家的一峰，紀州賴宣儼然成了一座屹然聳立的巨岳。
「但是，他果然還是在意的。」
賴宣一到江戶，土井利勝便開始頭疼。因為賴宣始終有著「鎖國是個愚蠢的政策，不久便會讓我們自己束手束腳」這樣的想法。
「好不容易太陽神才創造出這麼寬廣的大海和陸地，為什麼人類要自作聰明地去限定它的範圍呢？」
這肯定不是東照權現原先的想法，也不是現在的當家，將軍家光的想法。
「這樣隨意修建堤壩限定範圍，若是有大洪水，這堤壩也必定會被衝破的。若不再想出一個辦法的話，如今的太平世界將無法持續下去。」
這再想出一個辦法……賴宣的腦海裡浮現出來的，必定是那些洪水般的浪人。
將軍家光把這件事想得太單純了，
「若有叛亂的話，就讓他們叛亂吧。」
而自己就站在最前面，率領隊伍去鎮壓他們。
而土井利勝的想法則是，修建二重、三重的堤壩，以此來躲避所有的波浪。不過，若要躲避的話，視野當然會變得狹窄。最終可能出現自家門戶緊閉的結果。
當然，關門閉戶是不能防止洪水和地震的。只是這由性格引發的錯誤觀念一直糾纏不清，令人進退兩難。
將這一情況一點一點刺入家光腦中的紀州，已然成了土井利勝眼中的肉中刺。
這天，土井利勝獨自留在城中，他將但馬守柳生宗矩請入了城中。
「但馬守閣下，有一件事情必須借助您的智慧才能解決。不是別的，還是那個叫什麼由井正雪的無賴，追隨紀州大人一直到了和歌山，如今似乎已經回來了。」
低聲對柳生說話的時候，是心理作用嗎？利勝的神色似乎並不清醒。
「是那個叫由井民部之助正雪的兵法家嗎？」
但馬守兩鬢的白髮愈來愈多，臉上卻是帶著笑，穩重地問道。
「不用說，您想必也心中有數，即使頒布了『日本國內的國民，禁止往來於他國領地』的命令，但能無視該命令自由出入的東西還有一個。不是別的，就是加籐家作為嫁妝送給紀州大人的捕鯨船。」
土井利勝注意著四周，放低了聲音。
「將軍大人說，區區小事，不足掛齒，隨他們去好了……」
「原來如此。將軍是大度之人啊……」
「不過，若是這捕鯨船和由井正雪聯繫到一塊兒的話，事情就麻煩了。就算把通商對像限定為荷蘭，場所限定在長崎港，但也奈何不了捕鯨船。這樣一來，幕府不就威嚴掃地了嗎？」
「……」
「您甚至將將軍大人中意的徒士頭，您的次子友矩殿下都特意遠送回自己的封邑了。您這份苦心可不能白費，因此我才找您來商量的。這捕鯨船的數量原是五百艘，如今非但沒有減少，反而又增加了近百艘。您有辦法巧妙處理掉這些船嗎？」
「那麼，是要將這些船從紀州大人的手中奪過來嗎？」
「正是如此。將軍大人已經說隨他們去了，所以我不好發難。若是中途惹得將軍大人發脾氣的話，這重要的鎖國令說不定也會泡湯了。」
柳生宗矩翻著白眼，嗤嗤地笑了起來。
「土井大人，您認為這事只有我能辦到嗎？呵呵呵。」
「不要笑我了，但馬守。我夾在將軍和紀州大人中間，所有的計謀都起不到作用了。」
「啊呀呀，這是不可能的。您肯定已經想好對策了。總之小人不過只是領命行事而已。」
「您知道了。那您能聽聽我的想法嗎？總之，我無論做什麼事，都是為了這個國家，不，應該是為了所有的日本人。您可以聽聽我的愚見嗎？」
「是。小人洗耳恭聽的。」