海南島那時是在宋朝統治之下，但是居民則大多是黎人，在北部沿岸有少數漢人。蘇東坡就被貶謫到北部沿岸一帶去，這中國文化藩籬之外的地方。元佑大臣數百個受苦難折磨的，只有他一個人貶謫到此處。朝廷當政派為防止元佑諸臣再捲土重來，在那一年及以後數年，決定懲處或貶謫所有與前朝有關聯的臣子。蘇東坡貶謫到海南島不久，司馬光後代子孫的官爵一律被削除，好多大官都予調職，其中包括蘇子由和範純仁，調往的地方不是南方就是西南。甚至老臣文彥博，已經九十一歲高齡，也沒饒過，不過只是削除了幾個爵位。打擊蘇東坡最甚的就是凡受貶謫的臣子，其親戚家族不得在其附近縣境任官職。因為蘇邁原在南雄附近為官，現在也丟了官職。
現在蘇東坡所有的，幾乎只有那一棟房子了。按照他名義上的官階計算，朝廷三年來欠他兩百貫當地的錢幣，按京都幣值計算，是一百五十貫。所欠的官俸既未發下，蘇東坡寫信給好友廣州太守，求他幫忙請稅吏付給他。這個朋友王吉曾經聽蘇東坡的話興建過醫院，周濟過貧民，可是不久即以"妄賑饑民"的罪名遭上方罷斥了，前面已然提過。蘇東坡的欠薪發下與否，已不能稽考。
他現年六十歲，這是按西方計算。到底以後他還流放在外多久，頗難預卜，生還內地之望，甚為渺茫。兩個兒子一直陪伴到廣州。蘇造在河邊向他告別，蘇過則將家室留在惠州，陪伴他同到海南。為了到達任所，蘇東坡必須湖西江而上，船行數百里到梧州（在現代的廣西），然後南轉，從雷州半島渡海。他一到雷州，聽說他弟弟子由在往雷州半島貶謫之處，剛剛經過此地。據揣測說，蘇氏兄弟被貶謫到這個地方，是因為他倆的名字與地名相似（子瞻到增州，子由到雷州），章停覺得頗有趣味。子由也帶了妻子、第三個兒子，和三兒媳婦，他們幾年前一直和他在高安住過的。
蘇東坡到了梧州附近的籐州，與弟弟子由相遇，而今境況淒涼。當地是個窮縣分，兄弟二人到一個小館子去吃午飯。子由吃慣了講究的飯食，對那粗糙麥麵餅實在難以入口。蘇東坡把自己的餅幾口吃光，笑著向弟弟說："這種美味，你還要細嚼慢嚥嗎？"他們站起身來走出小鋪子去，帶著家人慢慢向前走，盡可能慢走，因為他知道一到雷州，就要立刻渡海了。
雷州太守一向仰慕蘇氏兄弟。他予二人盛大歡迎接待，送酒食，結果第二年因此遭受彈劾，調離任所。子由在雷州的住處，後來改為一座廟，是他兄弟二人死後，用以紀念他們的。
蘇東坡必須出發了，子由送他到海邊。離別的前夕，兄弟二人及家人在船上過了一夜。蘇東坡的痔瘡又發，甚為痛苦，於由勸他戒酒。二人用一部分時間一同作詩，蘇東坡試探出子由最小的兒子的詩才。這次離別是生離死別，真是令人黯然銷魂，一直愁坐整夜。離別之前，蘇東坡給王古寫了下面的文句："某垂老投荒，無複生還之望。春與長子邁訣，已處置後事矣。今到海南，首當做棺，次便做墓。仍留手疏與諸子，死即葬於海外，生不契棺，死不扶瞑，此亦東坡之家風也。"
那天，他向先賢調祈禱。有一個廟，供奉征南二將軍的神像。凡是在此風濤險惡之處，過海的旅客，都求神諭，決定吉日良辰開船。過去發現神諭無不應驗。蘇東坡也遵照習俗行事。
在紹聖四年（一0九七）六月十一日，蘇氏兄弟分手，蘇東坡和幼子和雷州太守派的沿途侍奉他的幾個兵上了船。航程很短，在此晴朗的天氣，蘇東坡可以看見島上山巒的輪廓矗立於天際。他心中思潮起伏。大海對他不像對西方詩人那麼富有魔力。實際上，他已經是"眩懷喪魄"了。但是一路平安無事。登岸之後，蘇東坡父子向西北岸的簷州目的地前進，七月二日到達。
他到達不久，一位很好的縣官張中就到了。張中不但對蘇東坡這位詩人佩服得五體投地，而且他本人又是個圍棋高手。他和蘇過後來成了莫逆之交。二人常常終日下棋，蘇東坡在旁觀戰。由於張中的熱誠招待，蘇東坡就住在張中公館旁邊的一所官捨裏。不過也是一所小舊房子，秋雨一來，房頂就漏，所以夜裏蘇東坡得把床東移西移。因為是官家的房子，張中用公款修繕一番，後來因此為他招了麻煩。
由中國人看來，海南島根本不適於人居住。在夏天極其潮濕，氣悶，冬天霧氣很重。秋雨連綿，一切東西無不發黴。一次蘇東坡看見好多白蟻死在他的床柱上。這種有害於人的氣候，頗使人想到長生之道。蘇東坡寫過下面一段文字：
嶺南天氣卑濕，地氣蒸褥，而海南為甚。夏秋之交，物無不腐壞者。人非金石，其何能久？然信耳頗有老人百餘歲者，八九十者不論也。乃知壽夭無定，習而安之，則冰蠶火鼠皆可以生。吾甚湛然無思，寓此覺於物表。使折膠之寒無所施其冽，流金之暑無所措其毒。百餘歲豈足道哉！被愚老人者初不知此，如蠶鼠生於其中，兀然受之而已。一呼之溫，一吸之涼，相續無有間斷，雖長生可也。九月二十七日。
在海岸上的市鎮之後，島內居住的黎族，與內地的移民相處並不融洽。他們住在熱帶的山上，後來在日軍偷襲珍珠港之前，他們為日本效力，訓練叢林戰術。本地人不能讀書寫字，但規矩老實，常受狡詐的漢人欺騙。他們懶於耕種，以打獵為生。像在四川或福建的一部分地方一樣、他們也是婦女操作，男人在家照顧孩子。黎民的婦人在叢林中砍柴，背到市鎮去賣。所有的金屬用具如斧子、刀、五穀、布、鹽、鹹菜，都自內地輸入。他們用烏龜殼和沉水香來交換，沉水香是中國應用甚廣的有名熏香。甚至米也自內地輸入，因為當地人只吃芋頭喝白水當做飯食。在冬天自大陸運米船不到時，蘇東坡也得以此維持生活。
當地居民非常迷信，患病時由術士看病，沒有醫生。土人治病的唯一辦法是在廟中禱告，殺牛以祭神。結果，每年由大陸運進不少的牛專為祭神之用。蘇東坡是佛教徒，設法改變此一風俗，但風俗改變，談何容易，他曾寫過下列文字：
嶺外俗皆殺牛，而海南為甚。客自高化載牛渡海、百尾一舟。遇風不順，渴饑相倚以死者無數，牛登舟皆哀鳴出涕。既至海南，耕者與屠者常相半。病不飲藥，但殺牛以禱，富者至殺十數牛。死者不復雲，幸而不死，即歸德於巫。以巫為醫，以牛為藥。間有飲藥者，巫輒雲神怒，病不可複治。親戚皆為卻藥禁醫，不得入門，人牛皆死而後已。地產沉水香。香必以牛易之。黎人得牛皆以祭鬼，無脫者，中國人以沉水香供佛燎帝求福，此皆燒牛肉也，何福之能得？
內地人始終不能征服那些叢林中的居民。官兵一到，他們只要退入叢林中，官兵根本不想到山中居住，自然不肯深入。黎民有時因與漢人有爭吵糾紛，也偶會進襲市鎮。有時被商人所欺，在衙門得不到公道審判，他們唯一的辦法，就是把此人捉住不放，然後將金錢索回。蘇過後來寫了兩千字一篇長文，論此種情形，並表示對此叢林蠻族無法征服，只有公平相待，公正管理。他認為此等土著是老實規矩的百姓，因為官府不替他們主持公道，他們才被迫而自行執法。
這次到海南島，以身體的折磨加之於老年人身上，這才是流放。據蘇東坡說，在島上可以說要什麼沒有什麼。他說："此間食無肉，病無藥，居無室，出無友，冬無炭，夏無寒泉，然亦未易悉數，大率皆無爾。惟有一幸，無甚瘴也。"
但是他那不屈不撓的精神和達觀的人生哲學，卻不許他失去人生的快樂。他寫信給朋友說："尚有此身付與造物者，聽其運轉流行坎止無不可者，故人知之，免優煎。"
使章停和蘇東坡的其他敵人煩惱的，是他們竟無奈蘇東坡何。在哲宗元符元年（一O九八）十二月十二日，他在日記中寫自己的坎坷說：
吾始至南海，環視天水無際，淒然傷之日："何時得出此島也了"己而思之：天地在積水中，九洲在大贏海中，中國在少海中。有生孰不在島者？譬如注水於地，小草浮其上，一蟻抱草葉求活。已而水幹，遇他蟻而泣日："不意尚能相見爾！"小蟻豈知瞬間竟得全哉？思及此事甚妙。與諸友人小飲後記之。
蘇東坡也許是固執，也許真是克己自製，至少也從未失去那份詼諧輕鬆。僧人參寥派一個小沙彌到海南島去看他，帶有一封信和禮品，並說要親身去探望。蘇東坡回信說："某到貶所半年，幾百粗遣，更不能細說。大略似靈隱天竺和尚退院後，卻在一個小村院子折足襠中泰糙米飯吃，便過一生也得。其餘瘴疾病人，北方何嘗不病，是病皆死得人，何必瘴氣？但若無醫藥，京師國醫手裏，死漢尤多。參寥聞此一笑。當不復憂我也。相知者即以此語之。"
他在此島上的人生態度，也許在他貶居此地最後一年後，在雜記中所寫的那段話表現得最清楚：
己卯上元，餘在信耳，有老書生數人來。過日："良月佳夜，先生能一出乎？"子欣然從之，步城西，入僧捨，曆小巷。民夷雜揉，屠酞紛然，歸捨已三鼓矣。捨中掩關熟寢，已再鼾矣。放杖而笑，孰為得失？過問："先生何笑？""蓋自笑也，然亦笑韓退之釣魚無得，便欲遠去。不知走海者未必得大魚也。"
蘇東坡一次對他弟弟說："我上可以陪玉皇大帝，下可以陪卑田院乞兒。在我眼中天下沒有一個不是好人。"現在他就和默默無名的讀書人、匹夫匹婦相往還。和這些老實人在一起，他無須乎言語謹慎，他可以完全自由，可以名士本色示人。他從沒有一天沒有客人，若是沒人去看他，他會出去看鄰居。像以前在黃州一樣，他與身份高身份低的各色人，讀書人、農夫等相交往。閒談時，他常是席地而坐。他只是以閒談為樂。但是他也願聽別人說話。他帶著一條海南種的大狗"烏嘴"，隨意到處遊逛。和村民在檳榔樹下一坐，就暢談起來。那些無知的窮莊稼漢，能對他說什麼呢？莊稼漢震於他的學識淵博，只能說："我們不知道說什麼。"蘇東坡說："那就談鬼。好，告訴我幾個鬼故事。"那些人說並不知道什麼有趣的鬼故事。蘇東坡說："沒關係，隨便說你聽到的就行。"後來蘇過告訴他的朋友說，他父親若一天沒有客人來，他就覺得父親好像不舒服。
甚至於在如此地遠天偏的地方，那群政敵小人也不讓他安靜消停。紹聖三年（一0九六）是迫害老臣雷厲風行的一年。在紹聖四年（一0九七），快到舊年除夕了，兩個元佑大官在十天之內先後死亡，情況可疑。在春天，那兩個官員的子女也遭監禁，老太后的秘書也處了死刑。所有遭貶謫的官員，都又調遷地方。那年夏天遭到調遷的官員之中，有蘇子由、秦觀、鄭俠，我們還記得鄭俠就是獻圖推翻王安石的宮門小吏。
三月，神奇道士吳復古，又在海南島出現，和蘇東坡住了幾個月。他帶來的消息是，朝廷派董必來視察並報告受貶謫的大臣的情形，如有必要，再彈劾起訴。那時簷州隸屬廣西省。最初朝廷打算派呂升卿到廣西（呂升卿是惡跡昭彰的元佑大臣的死敵呂惠卿的弟弟）。對蘇氏兄弟說，呂升卿一來，他倆不死也要脫層皮。但是曾布和另一個官員勸阻皇帝，說呂升卿必不能從公稟報，必致激起私仇大恨。那樣，朝廷就是超乎極端了。因此一勸，呂升卿改派到廣東，董必派到廣西。果不出所料，董必找出了紙漏，他說蘇子由強佔民房，雷州太守厚待罪臣並善予照顧。太守乃遭撤職，蘇子由改調到惠州以東地區，當年蘇東坡曾謫居在那裏。
董必要自雷州半島到海南，就如瘟神下降，但是他的副手彭子明對他說："別忘記你也有子孫。"董必聽了遂停止不去，只派下屬過海，察看蘇東坡的情形。那個官員發現蘇東坡住在官捨裏，頗受太守張中優待，張中後來遂遭革職。
蘇東坡被從官捨逐出，必須用僅有的一點錢搭個陋室居住。他住的地方是城南一個椰子林。當地的居民，尤其是那些窮讀書人的子弟，來親自動手幫助他蓋房子。那是一棟簡陋的房子，面積是五間大，但大概只蓋了三間。他名此新居"檳榔庵"。房後就是檳榔林。夜裏躺在床上，能聽見黎民獵鹿的聲音，鹿在那個地區為數甚多。有時早晨有獵人叩門。以鹿肉相贈。在五月他給朋友寫信說："初至做官屋數椽，近複遭迫逐。不免買地結茅，僅免露處。而囊為一空。困厄之中，何所不有？置之不足道，聊為一笑而已。"
蘇東坡很少恨別人，但他至少不喜愛董必。他必須向把自己趕出屋去的這個朝廷官員開個玩笑。"必"字在中文其音同鱉。他寫了一篇寓言，最後提到鱉相公。有一次，東坡喝醉，這篇故事就這樣開始。有魚頭水怪奉龍王之命，前來把東坡拉往海中。他去時身穿道袍，頭戴黃帽，足登道履，不久便覺行於水下。忽然雷聲隆隆，海水沸騰。突然強光一閃，他發現自己已經站在水晶宮中。像普通所說的龍宮一樣，龍宮中有好多珠寶、珊瑚、瑪消，其他寶石等物，真是精工點綴，琳琅滿目。不久，龍王盛裝而出，二宮女隨侍。蘇東坡問有何吩咐。不久，龍後自屏風後出來，遞給他一塊絹，有十尺長，求他在上面寫詩一首。對蘇東坡而言，再沒有比作詩容易的事。他在絹上畫了水國風光和水晶宮的霞光瑞氣。他寫完詩，各水中精靈都圍著看。蝦兵蟹將莫不讚美連聲。鱉相公當時也在。他邁步走出，向龍王指出東坡詩內有一個字，是龍王的名字，應當避聖諱。龍王一聽，對蘇東坡大怒。蘇東坡退而歎曰："到處被鱉相公廝壞！"
蘇東坡寫了三四個寓言故事，但是中國文人寫的想像故事，直到宋時代才真有發展，蘇東坡寫的也和唐宋寓言作家一樣，都是明顯的道德教條加上微薄的一點想像而已。
在他自己蓋了幾間陋室之後的兩年半期間，他過的倒是輕鬆自在的日子，只是一貧如洗而已。他有兩個頗不俗氣的朋友，一個是為他轉信的廣州道士何德順，另一個是供給他食物、藥物、米、鹹菜的謙遜讀書人。夏天的熱帶海島上，因為潮濕的緣故，人是很受煎熬。蘇東坡只有靜坐在椰子林中，一天一天的數，直到秋季來臨為止。秋季多雨，因為風雨大多，自廣州福建來的船隻都已停航。食糧不繼，連稻米都不可得。蘇東坡真個一籌莫展。在哲宗元符元年（一0九八）冬天，他給朋友寫信說他和兒子"相對如兩苦行僧爾。"那年冬天，一點食物接濟也沒有，父子二人直有飢餓之虞。他又採用煮青菜的老辦法，開始煮蒼耳為食。
他曾在雜記中寫食陽光止餓辦法，不知是否認真還是俚戲。人人知道，道家要決心脫離此一世界時，往往忍饑不食而自行餓死。蘇東坡在雜記《辟穀之法》中說了一個故事。他說洛陽有一人，一次墜入深坑。其中有蛇有青蛙。那個人注意到，在黎明之時，這等動物都將頭轉向從縫隙中射的太陽光，而且好像將陽光吞食下去。此人既飢餓又好奇，也試著模仿動物吞食陽光的動作，飢餓之感竟爾消失。後來此人遇救，竟不再知飢餓為何事。蘇東坡說："此法甚易知易行，然天下莫能知，知者莫能行者何？則虛一而靜者世無有也。元符二年，倪耳米貴，吾方有絕食之憂，欲與過行此法，故書以授。四月十九日記。"
實際上，蘇東坡不必挨餓，他的好朋友好鄰居也不會讓他挨餓，他似乎是過得滿輕鬆。有一天，他在頭上頂著一個大西瓜，在田地裏邊唱邊走時，一個七十多歲的老太婆向他說："翰林大人，你過去在朝當大官，現在想來，是不是像一場春夢？"此後蘇東坡就稱她"春夢婆"。他有時在朋友家遇到下雨，就借那家莊稼漢的斗笠蓑衣木屐，在泥水路上濺泥淌水而歸。狗見而吠，鄰人大笑吼叫。他一遇有機會，還繼續用下漫步的老習慣。有時他和兒子到六裏以外西北海邊，那裏有一塊巨大的岩石，像一個和尚面海而望。好多船在那裏失事，本地人就說那塊岩石有什麼靈異。那塊岩石下面，長了許多荔枝橘子樹。在那裏正好摘水果吃。但是倘若有人打算摘得吃不了，要帶著走，立刻就風濤大作。
蘇東坡一向對僧人很厚道，但是他不喜歡信州一帶的和尚，因為他們有妻子，並且和別的女人有曖昧情事。住在增州時，他曾寫文章諷刺此事。那篇文章的題目是《記處於再生事》。據說是真有其人。那篇文章如下：
予在增耳，聞城西民處於病死兩日複生。予與進士何畏往見其父問死生狀。雲初昏若有人引去至官府。簾下有言："此誤追。"庭下一吏云："此無罪，當放還"。見獄在地窟，現隧而出，入系者皆僧人，僧居十之六七。有一擔身皆黃毛如驢馬，械而坐。處子識之，蓋增僧之室也。日："吾坐用檀越錢物，已三易毛矣。"又一僧亦處於鄰里，死二年矣。其家方大祥，有人持盤饗及數千錢付某僧。僧得錢分數百遣門者，乃持飯入門，系者皆爭取其飯，僧所食無幾。又一僧至，見者皆擎膝作禮。僧日："此女可差人送還。"送者以手掌牆壁便過，複見一河，有舟便登之，進者以手推之，舟躍，處子驚而寐。是僧豈所謂地藏菩薩者也？書之以為世戒。
這幾年，過是父親時刻不離的伴侶。據蘇東坡說，像過那樣好兒子實在是至矣盡矣，蔑以加矣。他不但做一切家中瑣事，也是父親的好秘書。在如此高明的父親指導之下，過很快便成了詩人畫家。在蘇東坡的三個兒子之中，過成了一個有相當地位的文學家，他的作品已然流傳到今日。他遵守父命，受了父親當年在祖父教導下的教育。他有一次將唐書抄寫一遍，藉資記憶。此後，又抄寫漢書。蘇東坡博聞強記，他把讀過的這些古史每一行都記得。有時他倚在躺椅上聽兒子誦讀這些書，偶爾會指出某些古代文人生平的相似細節，而評論之。
他們頗以無好筆好紙為苦，但僅以手中所有的紙筆，過也學著畫些竹石冬景。大概二十年後，過到京都遊歷，在一座寺院裏小停，幾個宮廷中的兵卒忽然到來，抬著一頂小轎，要他進宮陛見徽宗皇帝。蘇過完全不知是何緣故，只得遵命。一進轎，轎簾子即刻放下，所以他看不見是往何處去。轎上無頂，有人持一大陽傘遮蓋。他覺得走得很快，大概過了四五裏，到了一個地方。他走出轎來，見自己立在走廊之下，有人過來引他到一座極美的大殿。他一進去，看見皇帝坐在裏面，身穿黃袍，頭戴鑲有綠玉的帽子。皇帝周圍有一群宮女環繞，穿得極為豔麗。他覺得那樣美的宮女為數不少，但是不敢抬頭看。當時雖然是六月，殿中極為清涼。屋裏有巨大冰塊堆積，點燃的妙香氣味瀰漫在空氣之中。他想自己必是在一座宮殿裏。施禮問安畢，皇帝對他說："我聽說你是蘇軾之子，善繪岩石。這是一座新殿，我希望你在牆壁上繪畫，因此請你前來。"蘇過倒吸了一口氣。徽宗自己就是一位大畫家，他的作品至今仍在。蘇過再拜之後，開始在牆壁上作畫，這時皇帝離座下來，站著看他動手。畫完之後，皇帝再三讚美。告訴宮女送蘇過美酒一杯，還有好多珍貴禮品。蘇過自御前退出之後，又在走廊之下乘轎出宮，在路上仍然轎簾低垂。到家之後，剛才的經歷，恍愧如夢。
島上難得好墨，蘇東坡自己試製。蘇過後來說他父親險些把房子燒掉。這個故事與杭州一名制墨專家有關係。這家制墨人所賣的墨價高出別家兩三倍，他說他是在海南島跟蘇東坡學的制墨秘法。有些文人向蘇過打聽他父親制墨的方法。蘇過笑道："家父並無何制墨秘訣。在海南島無事時，以此為消遣而已。一天，名制墨家潘衡來訪，家父即開始和他在一間小屋裏制墨。燒松脂制黑煙灰。到半夜，那間屋子起了火，差點兒把房子燒掉。第二天，我們從焦黑的殘物中弄到幾兩黑煙灰。但是我們沒有膠，父親就用牛皮膠和黑煙灰混合起來。但是凝固不好，我們只得到幾十條像手指頭大的墨。父親大笑一陣。不久潘先生走了。"不過，在蘇過敘述這件往事時，潘衡這家商店的墨已經很好了。顯然是他從別人學得的制墨秘訣，而不是跟蘇東坡學的，而只是藉蘇東坡的名氣賣墨而已。
現在蘇東坡空閒無事，卻養成到鄉野採藥的習慣，並考訂藥的種類。他考訂出來一種藥草，在古醫書上是用別的名字提到過，別人從未找到，而他發現了，自然十分得意。在他寫的各醫學筆記中，有一種藥可以一提，那就是用等麻治風濕的辦法，尊麻含有尊麻素和黃體素，像毒籐一樣，皮膚碰到就腫疼。他說把尊麻敷在風濕初起的關節上，渾身其他關節的疼痛都可以停止。他還深信蒼耳的功用。蒼耳極為普通，各處都長，毫無害處，吃多久都可以，怎麼吃法亦無不可。（此種植物含有脂肪，少量樹脂，維他命C和蒼耳酷。）他告訴人把此植物製成白粉末的辦法。方法是，在文火上，把此種植物的葉子灰，加熱約二十四小時，即可。此白色粉末，若內服，能使皮膚軟滑如玉。他還有些筆記提到蔓菩、蘆能和苦勞。他稱這些東西是"葛天氏之民"的美食，營養高，味道好。
除去忙這些事之外，他還在兒子幫助下，整理條記文稿，成了《東坡志林》。過去他和弟弟子由分別為五經作注。他擔任兩部。在黃州滴居時，他已經注完《易經》和《論語》。現在在海南，他注完了《尚書》。最為了不起的是他的和陶詩一百二十四首。他在穎州時就開始此項工作，因為當時在被迫之下，度田園生活，他覺得自己的生活與陶潛當年的生活，可謂無獨有偶，完全相似，他又極其仰慕陶潛。離開惠州之時，他已經寫了一百零九首，還只剩下最後十五首沒有和，這十五首是在海南島完成的。他要子由給這些詩寫一篇序言，在信裏說："然吾與淵明，豈獨好其詩也哉！如其為人，實有感焉。糾他覺得他與陶潛的為人也頗相似，許多仰慕蘇東坡的人，當必有同感。