我回顧一生，覺得此生無論是成是敗，我都有權休息，優哉游哉過日子，享受兒孫繞膝的快樂，享受人生的最高福佑的天倫之樂。
我有幸生得幾個好孩子，孝順我們，對我們真誠敬愛，每一個人都一心盡責。我身邊圍滿令我自傲的孫兒、侄兒和侄女。朋友愈來愈少了，很多人都離開我們，長眠地下。最好的友伴也不可能生生世世在一起。我的工作已經完畢，我不在乎別人是稱讚還是批評我。我現在不如以前那麼急於創作，精神沒有以前好。誰也不能要我再編一次漢英詞典。完成"當代漢英詞典"的工作不如降低血壓來得重要，甚至不如一張穩定的心電圖來得重要。想當年我曾為那部字典忙得廢寢忘食哩。我寫到幾百萬字厚書的最後一行，這最後一行成為一條輕輕的軌跡。我有心臟病的初期徵兆，醫生叫我徹底休息兩個月。
林語堂"退休"之後，練字，畫畫，看書以消磨時間。他想整理他的作品，出版《林語堂全集》。他的英文作品幾乎全部譯成中文，但有些譯本水準很差，他很不滿意。他說："他所遺憾的是三十年來著作全用英文，應是文字精華所在，惜未能直接與中國讀者相見。"
林語堂最喜歡《吾國與吾民》中寫的"秋之歌"那一段話：
無論國家和個人的生命，都會達到一個早秋精神瀰漫的時期，翠綠夾著黃褐，悲哀夾著快樂，希望夾著追憶。到了生命的某一個時期，春日的純真已成回憶，夏日的繁茂餘音嫋嫋。我們瞻望生命，問題已不在於如何成長，而在於如何真誠度日，不在於拚命奮鬥，而在於享受僅餘的寶貴光陰，不在於如何花費精力，而在於如何貯藏，等待眼前的冬天。自覺已到達某一境地，安下心來，找到自己追求的目標。也自覺有了某一種成就，比起往日的燦爛顯得微不足道，卻值得珍惜，宛如一座失去夏日光彩的秋林，能保持經久的風貌。
我喜歡春天，但是它含有太多稚氣；我喜歡夏天，可是它浮躁。我最喜歡的還是秋天，因為秋天樹葉剛呈嫩黃，氣氛比較柔和，色調比較濃艷，可又染有一絲憂愁和死亡的預感。它黃金的瑰麗景色所顯現的不是春天的純真，也不是夏天的威猛，而是垂老的柔順和慈祥的智慧。它知道生命的種種限制，又有豐富的經驗，從而展示了最鮮艷的繽紛的色彩：綠色象徵生命和力量，橙色象徵稱心的滿足，而紫色象徵順從和死亡。月亮照耀的時候，它純潔的容貌好像在沉思，而落日的餘暉映照著它的時候，它仍然會嫣然歡笑。清晨的山風吹過，使它顫動的樹葉飄落地面。你不知道落葉的歌是歡笑的歌唱，還是訣別的哀吟。辛棄疾寫得好：
少年不識愁滋味，愛上層樓，愛上層樓，為賦新詞強說愁。
而今識盡愁滋味，欲說還休，欲說還休，卻道天涼好個秋。
林語堂的晚年在香港和台北來回穿梭，但主要在香港住的時間長。
1975年10月10日是林語堂的八十大壽。朋友們在香港利園酒店為他做壽。來賓除了香港中文大學的許多教授和利榮森、利園偉等外，還有簡又文、徐、張國興等老友。過了兩天，林相如夫婦送林語堂二老到台北，在台北有十幾個文學、藝術、新聞團體在大陸餐廳舉行了隆重的聯合茶會，慶祝林語堂夫婦八十大壽。《華岡學報》出版了《慶祝林語堂先生八十歲論文集》，內有蔣宋美齡、張群、蔣經國、錢復、蔣復璁、曾寶蓀、馬星野、謝冰瑩等人的賀詞和文章。
蔣復璁作《林語堂八秩大慶祝辭》摘錄如下：
自古至今，仁人君子，必有真勇，必有其德，必有其業，必有其壽。征之史實，毫釐不爽。是故能巍巍乎立於天地之間而無愧也。今維林語堂先生，足資矜式矣。先生祖籍福建之龍溪廈門。三代為基督徒。父為長老會牧師。自幼篤信基督徒。既長，於清季宣統三年，入上海聖約翰大學就讀神學院，以對神學課程之乏味，乃放棄基督教之信仰。迨至民國四十七年，再皈依基督教。此乃超越實體而獲心靈之勝利也。
先生著書數十種，均譯數國文字，實為不朽之作，為中外士林所推重。近年在香港出版之《當代漢英詞典》巨著，曾轟動一時，名聞遐邇，乃對文化教育之一大貢獻也。先生顏其書室曰"有不為齋"。蓋以道家尊尚黃老之說，主清淨無為，化治於無形。佛家謂："真理非由因緣造作而成，故曰無為。"而儒家思想，重孔子之道，講仁義道德，有為有守。"有為"謂"養其身以有為也"。"有守"謂有節操也。有守則不為不義，不為外物所誘也。先生一生，澹泊高潔，與人無爭，游心物外專事著述。舉凡世俗名利，概不足攖其心。且嘗語出詼諧，有"幽默大師"之稱。然其生平為人，坦率真誠，忠貞不二，正直不阿。有剛強不撓之毅力，自強不息之恆心。擇善固執，唯道是從，唯義是守。見義勇為，不為外誘。高尚之品德，乃儒家之風範，有為有守也。故先生所謂"有不為齋"者，有為而有不為，即勇於為義而不為不義者也，亦儒而亦道也。
觀其在抗戰期間及政府來台灣後，先生始終主持正義，在海外為政府宣傳，口誅筆伐，堅持國策，對國家之貢獻實甚大也。今歲十月十日，欣逢先生八秩攬揆之辰，稱觥介壽，並侑以辭曰：道術天下裂，漢志述流別，三家稱鉅子，老莊與儒墨。老子倡無為，莊生超萬物，孔孟祖堯舜，有為盡已力。兼愛與為我，揚黝在絕跡。董生定一尊，漢武重儒術，相沿二千年，服膺無敢失。廊廟慕山林，江湖思魏闕。道儒不可分，理學取道佛。吾道本一貫，萬殊大成集。廈門林先生，耶儒道釋合，家世基督徒，神學先肄業。改途習語文，進修赴美德。讀書破萬卷，生花夢彩筆，學成得博士，德言稱孔碩。掌教變南北，程門多立學。只眼慕公安，抒情多佳作，紙貴洛陽城，重譯十餘國。騷壇執牛耳，中國蕭伯納。偕老有嘉配，齊眉同心結，承歡有嬌女，傳經讀史策，逍遙一神仙，蒙莊亦見拙。乘心持正義，衛國專筆伐，不為不義事，霜雪比高節。十月慶上壽，康強逢大吉，長生祝期頤，永為國人式。
1975年，美國圖書館學家安德生(ArthurJamesAnderson)編《林語堂英文著作及翻譯作品編目》。他在前言說："東方和西方的智慧聚於他(林語堂)一身，我們只要稍微誦讀他的著述，就會覺得如在一位講求情理的才智之士之前親受教益。他有自信，有禮，能容忍、寬大、友善、熱情而又****。他的筆調和風格像古時的人文主義者，描述人生的每一方面都深刻機敏，優美雍容。而且由於顧到大體，所以在評局部事物時能恰如其分。最足以描繪他的形容詞是：有教養。他是最令人讚佩，最罕見的人——一位有教養的人的典型。"
安德生並且編纂LinYutang：TheBestofanOldFriend(《林語堂精摘》)由Mason/Charter出版。林語堂為這本書寫序說：
我喜歡中國以前一位作家說過的話："古人沒有被迫說話。但他們心血來潮時，要說什麼就說什麼；有時談論重大的事件，有時抒發自己的感想。說完話就走。"我也是這樣。我的筆寫出我胸中的話。我的話說完了，我就要告辭了。
不久，林語堂在香港不能行走，只能坐輪椅。甚至，有時在睡覺時從床上掉下來，他自己也爬不起來。身體一天不如一天，最後不得不送往醫院。
1976年3月26日晚上10點10分，林語堂終於走到了人生的終點。
林太乙和林相如等親人把林語堂的靈柩送到台北。蔣經國院長親自到機場迎靈。"********"筆會、中華文化復興運動委員會、"故宮博物院"、"中央通訊社"、《國語日報》、"中國文藝協會"、"中國語文協會"和台灣開明書店等八個團體負責治喪事宜。4月1日下午，在懷恩堂舉行追思會，許多政要、老友都參加了追思會。之後，林語堂的遺體安葬在陽明山的家園裡，面對他所深愛的重巒疊翠。
巨星隕落。林語堂去世後，許多人都寫了紀念文章。報界更以顯著的版面登載了林語堂去世的消息及有關他生平的文章。
"《中國時報》"的社論說："林氏可能是近百年來受西方文化熏染極深而對國際宣揚中國傳統文化貢獻最大的一位作家與學人。其《吾士吾民》及《生活的藝術》以各種文字的版本風行於世。若干淺識的西方人知有林語堂而後知有中國，知有中國而後知有中國的燦爛文化。尤可貴者，其一生沉潛於英語英文，而絕不成為'西化'的俘虜，其重返中國文化的知識勇氣及接物處世的雍容謙和，皆不失為一典型的中國學者。"
《聯合報》的社論道："他一生最大的貢獻，應該是，而且也公認是對中西文化的溝通。因為論將近代西方文化引入我國者，從嚴復和林紓那一代起，固可說代有傳人，甚至人才輩出；但論將我中華文化介紹西方者，則除了有利瑪竇、湯若望等等外國人曾經從事之外，數獻身此道的中國學人，林語堂雖非唯一人，卻是極少數人中最成功的一人。"
台灣"《中央日報》"以《敬悼平易嚴正，愛國愛人的林語堂先生》為題的社論。社論高度評價了林語堂的一生。社論說："許多外國人士對我博大精深的中華文化，仰慕之情雖殷，終難深切體會。論及中國的文學與思想，古代唯知有孔子，現代每每唯知林語堂。林先生曾撰聯自說：'兩腳踏東西文化，一心評宇宙文章'，亦可略見其心胸抱負。林先生的作品雖未必能代表現代中國文學思想之全貌，但其透過文學作品而溝通東西文化，促進國際瞭解的影響與貢獻，確乎是偉大的，甚至可以說求之當世，唯此一人。"
美國《紐約時報》以第一版刊出了林語堂去世的消息，以大幅的版面詳載他一生經歷和對中西文化學術界的卓越貢獻，並以三欄的篇幅刊登半身照片。
美國《聖路易郵報》在4月2日作了特寫，稱"林語堂不止是某一門類的重要人物。他在很多方面都獲有優越的成就，實在無法一一羅列。"
華盛頓大學教授吾訥孫說："林語堂是一位偉大的語言學家、優良的學者、富於創造力和想像力的作家。不寧唯是，他是一位通人，擇善固執，終於成為蓋世的天才。要說哪一項造詣是他最大的成就，就已經錯了。他向西方和中國人證明，一個人可以超越專家這個稱謂的局限而成為一個通才。"
林語堂逝世後錢穆最早寫出了紀念文章。從3月29日動筆到林語堂下葬那天完稿，題目是《懷念老友林語堂先生》。
謝冰瑩在《憶林語堂先生》中充分肯定了林語堂的重大貢獻："他在有生之年，對社會、對國家民族、對文學上的貢獻太多、太大了，他的著作等身，軀體雖然離開了人間，他的著作永遠和我們相伴，他的精神永遠不朽，文學熠熠的光芒，永遠閃爍在文壇。"
林海音對林語堂的評價更高："本世紀的中國人能成為世界性作家學者的，我認為只有林語堂一人。"
1982年11月3日，林語堂在台北市士林區仰德大道一段141號的故居，被闢為"林語堂先生紀念圖書館"，屬於台北市圖書館。館中有林語堂的藏書2000多冊。"有不為齋"及臥室保留了林語堂生前的原樣。1985年，廖翠鳳曾將台北陽明山的家園及林語堂生前的藏書、作品及部分手稿和代表性遺物，捐贈給台北市政府，同年5月28日，台北市政府在林語堂的故居建立"林語堂先生紀念館"，供國內外遊人和研究者參觀研究。1987年4月，林語堂的妻子廖翠鳳逝世於香港，享年九十歲。
2001年10月，在林語堂的祖居——福建省漳州市薌城區天寶鎮五里沙(今為珠裡村)，建成了"林語堂紀念館"，這是中國大陸第一座林語堂紀念館。林語堂家鄉這個紀念館位於319國道北側，坐落在林語堂父母長眠的虎形山上，一大片香蕉如海洋似錦繡將它包裹。紀念館佔地面積三十多畝，主體建築是白色的半圓形二層樓房，中西合璧風格，在宏大莊重中充滿靈氣和清明，其四周還建有水池、亭台、小橋、花圃和綠地，非常貼近林語堂的文化思想和美學趣味。館前是一尊林語堂座身雕像，高達二米，顯得從容安閒，瀟灑自在。
林語堂寫過："做文人，而不能成文妓，就只有一途：那就是帶點丈夫氣，說自己胸中的話，不要取媚於世，這樣身份自會高。要有點膽量，獨抒己見，不隨波逐流，就是文人的身份。所言是真知灼見的話，所見是高人一籌之理，所寫是優美動人之文，獨來獨往，存真保誠，有骨氣，有見識，有操守，這樣的文人是做得的。"
當年，有人批評林語堂的作品不合時宜，林語堂無不幽默地說："我的作品主要不是寫給同代人的，而是寫給後人看的。"
今天，林語堂的作品越來越受到了讀者的喜愛，事實上已經證明了林語堂所說的話的正確性。林語堂是在世界上產生影響最大的中國作家。