大島人都說在他們上島之前，島上曾有過人。因為自從他們一上島，就有人編了《豬龜娘娘撰》，後來這故事就一代代傳下去，成了經典。最老版本的《豬龜娘娘撰》是寫在一卷綢子上：
「最早之大島人，乃一夫一婦也。此夫婦生八子。一日夫落入山中深潭，溺亡。婦此後每夜去潭中沐浴。一日，再不歸家。又數日，從潭中爬出一獸，且像豬又像龜，此獸爬至
八子家中，駝八子於背上，至深潭處，縱身跳下，八子與怪獸皆沉潭底。」
後來有人嫌老版保守，就在黃草紙上寫了新版還插了圖：
「最早之大島人，乃一夫一婦也。此夫婦生八子。一日夫落入山中深潭，溺亡。婦此後每夜去潭中沐浴。沐浴時裸身入水，其陰浸於水中，其兩乳徐徐進出於水面，數時，便淫聲不斷。一日，淫聲之高，蛇鳥等皆驚醒。八子於家中聞聽其母哼吟，不知母為何，遂伏不敢睡。次日，母再不歸家。又數日，從潭中爬出一獸，且像豬又像龜，此獸爬至八子家中，駝八子於背上，至深潭處，縱身跳下，八子與怪獸皆沉潭底。」
再後來又有人在二版上加了註釋：
「此女懷夫心切，水神感慨之，即化作此女之夫與女交配。」
再再後來就在島上傳出了民歌：
「水神真蠢笨呦，見了凡女動凡心呦，一念之差引火燒身呦，惹得女子追到水中呦，變了豬龜表衷情呦，這可難為了老水神呦，不要她又攆不成呦，編成山歌誡後人呦：『姑娘好看不好惹，惹了之後變老婆，成了老婆就變醜，坐在家裡又趕不走。』咦咦咦呦——」
最流行最讓人能接受的一版是改了後記，刪了淫情，變所有插圖為一女神像。在神像下面寫著：
「水神感於女念夫之情，故成全之，使其全家變豬龜入水與夫團圓。」
後來豬龜娘娘廟裡那個娘娘像就是按這個版本裡的女神像修的，娘娘是女人頭龜殼豬身子，背上駝了八個孩子，臉上的表情好像老是在哼哼。
大島人拜豬龜為神，凡上山路過深潭的人，都得衝著潭水或作揖或磕頭或行注目禮，燒香上貢的人更是不斷。命好的，還能趕上看見豬龜的大龜殼從水底深處浮上來。可豬龜對人倒並不那麼待見，哪怕隔著八丈湖水，它們一感到岸上有人，就跟逃難似的急著往水底下沉，也不還禮。所以人唱：
「看一眼豬龜難吧，被豬龜看一眼更難。」