這桃花島四處環水，四季如春，又沒有外界干擾，實在是一個調養的好地方。只是海上風大，好在大家住在島中心，周圍有各種樹木擋著，因此平時居住在其中也不覺得有什麼要緊。
楊過見這地方美麗如畫，實在是歡喜得要緊，平日操心貫了，今日又見大海又見美景，只覺得心曠神怡忍不住放聲大喊起來。他這喊的雖大，但由於沒有夾雜內功，因此聲音倒也沒傳多遠，只驚飛了旁邊的一些海鳥。武敦儒、武修文兩兄弟聽到楊過大喊，也相繼大喊起來，弄得郭芙一陣白眼。
等大家全上了岸，安排好穆念慈，楊過便守在房中。這樣等了一個時辰，只等得昏昏欲睡。忽然聽到一輕聲叫喚：「過兒！」楊過驚醒，發現穆念慈醒過來了，歡喜地跑到床前，欣喜道：「娘，你終於醒了，你都昏睡一天了。渴了嗎？我給你倒水。」
穆念慈接過茶杯，邊喝邊打量房子四周情況，見房子裝飾典雅，絕不是自己家的小木屋，疑惑道：「過兒，我們這是在哪？為什麼在這裡？」楊過便將今天發生的事情盡數告知，只隱去了幫穆念慈吸毒血和歐陽鋒的事情，只道毒是黃蓉用九花玉露丸解得。
郭靖、黃蓉聽到這裡的動靜，連忙趕了過來，只見郭靖滿臉欣喜道：「穆世妹，上天仁慈，我們終於又見面了。呵呵，來了就好，來了就好。」念及穆念慈的遭遇，心中一陣酸痛，加上隔了十幾年又見穆念慈，既喜且悲，滿腔的話語說不出來。黃蓉見郭靖受窘，忙道：「穆姐姐一天都未進食，想必餓了吧？靖哥哥，你去吩咐廚房熬點稀飯，先讓穆姐姐恢復一些體力吧。」
郭靖連連點頭，心中還怪自己太過大意，告了一聲罪便疾步走出。楊過見黃蓉和穆念慈有話要說，忙道：「娘，郭伯母，我出去玩會兒。」穆念慈點頭答應後便徑直去了。黃蓉心道：「過兒恐怕比之楊康更加聰明，今後切不可讓他學壞了。」二人談了一些過去的事情，等穆念慈吃下郭靖端過來的稀飯，也覺得累了，便躺下休息。郭黃二人也就出去吩咐一些雜事不提。
餘下來的幾日，穆念慈在郭靖黃蓉等人的照料下，身體稍有好轉。柯鎮惡雖對楊康很不感冒，但對穆念慈卻很有好感，這時見她病重，又得知其在這些年受的苦，更加對穆念慈照顧得無微不至。見楊過在這些年服侍母親盡心盡力，柯鎮惡倒對楊過的態度倒好了一些。
閒話少述，這幾日楊過由於不用操心母親病情和家計，百無聊賴之下只天天到島岸看海，只覺無邊碧波間煙波浩渺，在大自然之前人何其渺小。沒有壓力和煩心事，以前壓抑的心情片刻不見，覺得心臟的負擔突然間小了很多。
過了會兒，郭芙一蹦一跳的跑過來道：「楊哥哥，你怎的又在這裡？我們一起鬥蟋蟀去吧？」本來就沒有多大的誤會，又是小孩子，才幾天郭芙就忘了以前的過節。加之以前島上沒有年紀相仿的人玩，見了楊過等三個，哪還會放過？楊過對郭芙一望，只見郭芙身穿一套米黃色長裙，兩邊各紮了一個小辮子搭在膀臂上，雖然年少，但活脫脫一個美人坯子。
加上前世，楊過都活了三四十年了，哪還會對鬥蟋蟀這個小把戲感興趣？於是對郭芙道：「我不去，你找武家兄弟們玩吧。」郭芙哪裡肯依，拉著楊過手臂便要將其拉走，楊過無奈，卻又不願意去，便對郭芙道：「我不喜歡鬥蟋蟀，要不我吹一首曲子給你聽吧？」
郭芙大奇道：「你還會吹曲子？我聽過外公吹過，很好聽，你也吹來試試。」楊過拿出自製的橫笛，平復一下心情，吹奏了一曲《山居秋暝》。這是遊戲《軒轅劍三外傳天之痕》之中的一首曲子，描述的是村莊中的祥和、寧靜。
楊過前世覺得此曲好聽，便記住了，只是不知這曲子的名字。一曲奏罷，彷彿世間萬物都悄然無聲，心中一片空明，端的是餘音繞樑。郭芙聽了雖覺得與平時聽得大不一樣，但還是大沒意思，於是對楊過道：「這也沒意思得緊，咱們還是去鬥蟋蟀吧。」說罷又要拉楊過走。楊過百般推脫，郭芙見他實在不肯去，氣鼓鼓地獨自跑了，看的楊過搖頭苦笑。
這樣過了幾天，郭芙與武氏兄弟將桃花島鬧得雞飛狗跳，大家不禁一陣頭疼。次日清晨，郭靖將楊過、武氏兄弟、郭芙叫到大廳，又將柯鎮惡和穆念慈請來，對穆念慈道：「穆世妹，我一生對楊叔父和楊兄弟有愧，沒有盡到責任，現想收過兒為徒弟，將全身本事都教給他，你看怎麼樣？」
穆念慈見孩子有機會學藝當然開心，對郭靖喜道：「那樣就麻煩郭大哥了。」隨即讓四個孩子向江南六怪的靈住磕過了頭，對柯鎮惡道：「大師父，弟子要請師父恩准，跟你收四個徒孫。」柯鎮惡喜道：「那再好不過，我恭喜你啦。」郭靖命楊過與武氏兄弟先向柯鎮惡磕頭，再對他夫婦行拜師之禮。郭芙笑問：「媽，我也得拜麼？」黃蓉道：「自然要拜。」郭芙笑嘻嘻的也向三人磕了頭。郭靖正色道：「從今天起，你們四人是師兄弟啦……」郭芙接口道：「不，還是師兄妹。」郭靖橫了女兒一眼，道：「爹沒說完，不許多口。」他頓了一頓，說道：「自今而後，你們四人須得相親相愛，有福共享，有難同當。」四人自然口中稱諾。
在宋代拜師禮節甚為隆重，耗時也長，穆念慈身體不適，提前回去休息了。柯鎮惡接著將他們門中諸般門規說了一些，都是一些不得恃強欺人、不得濫傷無辜之類，江南七怪門派各自不同，柯鎮惡也記不得那許多，反正也是大同小異。
郭靖說道：「我所學的武功很雜，除了江南七俠所授的根基之外，全真派的內功、桃花島和丐幫兩大宗的武功，都曾練過一些。為人不可忘本，今日我先授你們柯大師祖的獨門功夫。」他正要親授口訣，黃蓉見楊過仍不動聲色，依稀看到了當初的楊康，不禁心中生憎，尋思：「他父親雖非我親手所殺，但也可說死在我的手裡，莫養虎為患，將來成為一個大大的禍胎。」心念微動，已有計較，說道：「你一個人教四個孩子，未免太也辛苦，過兒讓我來教。」
可惜她不知道現在的楊過絕非普通人，因此錯怪於他也是有情可原。郭靖尚未回答，柯鎮惡已拍手笑道：「那妙極啦！你兩口子可以比比，瞧誰的徒兒教得好。」郭靖心中也喜，知道妻子比己聰明百倍，教導之法一定遠勝於己，那樣楊過定能學得好些，當下沒口子稱善。郭芙怕父親嚴峻，也要黃蓉教，黃蓉笑道：「你老是纏著我胡鬧，功夫一定學不成，還是讓爹教你的好。」郭芙偷看郭靖一眼，見他雙目也正瞪著自己，急忙轉頭，不敢再說。楊過心道：「果然還是這樣，一切隨緣吧。」
黃蓉對丈夫道：「咱們定個規矩，你不能教過兒，我也不能教他們三人。這四個孩子之間，更加不得互相傳授，否則錯亂了功夫，有損無益。」郭靖道：「這個自然。」黃蓉道：「過兒，你跟我來。」楊過跟著黃蓉走入內堂，見她拿出一本書來，對楊過道：「你師父的二師父人稱妙手書生，我現在教你他的功夫。」
說著攤開書本，朗聲讀道：「子曰：學而時習之，不亦說乎？有朋自遠方來，不亦樂乎？」原來那是一部《論語》。楊過對文學方面本就愛好，還想出口成章呢，當即喜滋滋的跟這黃蓉學習。至於武功，有了九陽神功還怕什麼？
果然，一連數日黃蓉只是教他讀書，始終絕口不提武功，由於楊過平時並未使用過內功，因此郭靖黃蓉也不知他內功之深厚。楊過存了讀書的心思，因此學習起來極為用心，常常對書中經義卻往往不以為然，根據自己在前世中所學，不住提出疑難。黃蓉在感到厭煩的同時感到也大為奇異：「此人思想發前人之所未有，初時覺得大逆不道，細思之下往往覺得還是很有道理，難道他以前從師學過？」
楊過當然學過，這幾年來，楊過也入過私塾，加上前世的知識，自然不凡。幾個月來，楊過將《論語》、《孟子》等儒家經義又學了一遍，有了黃蓉解讀，對這些著作的理解更加深刻，不自覺也佩服起古人來。孔子的思想博大精深，只是後人將其曲解太多，以至於造化出如此多的酸儒來。
不過每天悶在屋中實在無聊，於是楊過暇時便跑到海岸邊大聲朗讀，累了便吹笛子，抒發心中情緒，或者到書房中看黃藥師留下來的煉丹、奇門遁甲之術。
這樣幾個月過去了，楊過在海邊閒步，望著大海中白浪滔滔，思索著以後自己的出路來。「肯定不會在桃花島中過一輩子。」楊過心道，「郭伯伯這麼些年來悉心照顧我母子二人，找個機會報恩後就四處遊歷吧。」
黃蓉不教楊過武功的事情終究被郭靖知道了，郭靖心中生悶氣之餘大為不解，遂找來黃蓉，沉聲道：「蓉兒，你怎麼不教過兒功夫？我向來有個心願，你自然知道。一生中我愧對楊家太多，因此要將芙兒許配給過兒。只是芙兒調皮搗蛋，若過兒無武藝防身，恐怕管束不住。」
黃蓉聽聞要將郭芙嫁給楊過，一時也沒注意郭靖話中的意思，只急道：「不行，我不答應。」郭靖愕然道：「怎麼？」黃蓉道：「芙兒怎能許配給這小子。」郭靖道：「他父雖然行止不端，但郭楊兩家世代交好，我瞧他相貌清秀，聰明伶俐，今後跟著咱倆，將來不愁不能出人頭地。」
黃蓉還正要反對，郭靖又道：「你只是擔心過兒人品不端，但我觀過兒為人正直且有孝心。這些日子以來，我一直觀察他，發現他一身正氣，人品絕對出眾，這絕對錯不了。你要是不教，我自己教。」說罷就要起身。
黃蓉見郭靖生氣，忙道：「你切莫生氣，我初時也是擔心過兒聰明反被聰明誤，和楊康一般學武後變壞，因此只教他學文，只讓他以後做個頂天立地的好男兒。既然你肯定過兒不會學壞，我就教他武功吧。」
郭靖聽罷點頭道：「這個我當然肯定，只不過你莫說又教他二師父讀書的功夫。」郭靖木頭木腦，難得今天講了一個冷笑話，聽得黃蓉撲哧一笑，道：「不會了，他記憶力極佳，悟性又高，經義我都教他不了了，這是他去考試，恐怕能考出一個狀元來呢。」
郭靖奇道：「哦？過兒還有這種本事？不過你要教過兒什麼功夫？」黃蓉道：「我看過兒天資聰穎，平素又喜橫笛，學玉簫劍法正合適，你看怎麼樣？」這玉簫劍法黃藥師自創劍法，劍招精微奧妙，以攻敵穴道為主，劍式瀟灑俊雅，是一路自玉簫中化出的劍法，於楊過倒是合適。
郭靖念及此便答應了，只是不知黃蓉心中暗道：「我只教他劍法，不授內功，他學了也沒有什麼威力，自然也不會為害了。」
楊過還在那裡讀桃花島的藏書，見黃蓉進來連忙行禮道：「見過師娘。」黃蓉應了一聲，對他道：「從今天起我教你武功，你可要好好學。」楊過還在納悶，「不對啊？怎麼要教我功夫了？」不過納悶歸納悶，不過還是答道：「徒弟定當盡力學習，不負師母厚望。」
於是黃蓉帶著楊過來到樹林，對他道：「我見你慣使橫笛，便教你的是玉簫劍法，此劍法自玉簫中化來，使笛卻比劍更加合適。我現在打一遍，你要看仔細了。」言罷折了一根樹枝，一招一式演示起來，口中叫著招式名稱：「簫史乘龍，山外清音，金聲玉振……」
楊過跟著黃蓉學習劍法，不知不覺間幾個月過去了。此時的楊過並不偏激，因此倒也沒有和大小武起矛盾，相反柯鎮惡見楊過吃苦耐勞，對他甚為嘉許。由於沒有起摩擦，楊過便在桃花島住下了，而且這一住就是四年。
只是楊過沒有想到，此刻全真教正遇到了前所未有的危機。