每當林語堂合上書，擱下筆，亞里士多德、柏拉圖、尼采等離他遠去，一桌熱氣騰騰的可口飯菜，還有笑吟吟的妻子，溫馨的家在等著他，幸福的感覺就慢慢充盈著整個心房。廖翠鳳以中國傳統女性的溫良恭儉讓容納了林語堂所有的放肆和不安分。林語堂的自由天地也只有在這樣的妻子面前才能舒展。他還是像阪仔那個調皮孩子，有時出個怪主意來作弄老實的翠鳳。有一次，林語堂把煙斗藏了起來，叫著："鳳，我的煙斗不見了！"廖翠鳳急忙放下手中的活，說："堂啊，慢慢找，別著急。"於是，廖翠鳳就滿屋子幫著他找，而林語堂則燃起煙斗，欣賞著妻子忙亂的樣子。有了女兒後，林語堂也隨著女兒管翠鳳叫"媽"。他從書房出來，像孩子一樣地問："媽在哪裡？"還有一次，翠鳳說，她的一個朋友生了"兩個雙胞胎"。林語堂是專攻語言學的，覺得這句話有毛病。他糾正妻子："你不應該說'兩個'雙胞胎。雙胞胎就是兩個的意思。""當然，雙胞胎就是兩個，有什麼錯？"妻子爭辯道。"你可以說一對雙胞胎。""一對不就是兩個的意思嗎？"堂堂的語言學教授林語堂竟無言以對。
廖翠鳳知道自己不是林語堂的初戀，也不是林語堂的最戀。在廖翠鳳的心目中，林語堂是那樣了不起，他風度翩翩、和顏悅色、才智過人、口若懸河、思維敏捷、心地純正、胸懷大志、浪漫多情，是她心中真正的白馬王子。在20世紀30年代，當林語堂的最戀——上海大名鼎鼎的陳錦端來拜訪林語堂時，廖翠鳳非常自信地讓林語堂與陳錦端單獨會面、交談，並囑咐孩子不要打擾爸爸與陳阿姨的談話。客人走後，廖翠鳳還當著林語堂的面，非常自豪地告訴女兒，她的父親是愛過錦端阿姨的，但之所以能與她廖翠鳳成婚，主要是因為她說過"沒有錢也不要緊"這句話。說完，廖翠鳳哈哈大笑，因為是自己的決心和眼光才獲得了如此勝利。在林語堂的心目中，廖翠鳳淳樸質實、厚道自信、熱心溫柔、包容心強、吃苦耐勞、無怨無悔地愛著他，維護著他，甚至連他在床上躺著抽煙，她都能容忍，從來不加限制，任其自由。所以，林語堂感到他們夫妻如同琴瑟，在天長日久中，愛情也慢慢生長起來，而且彌久愈新。他把自己比喻成一個氫氣球，而妻子廖翠鳳則是氣球的手中之線，若沒有妻子拉著，自己還不知道要飄飛到哪裡去了！
四、文學創作和學術研究
1966年至1976年，林語堂除了參加一些社會活動包括國際上的會議外，還進行了文學創作和學術研究，均取得了輝煌的成績。
1.撰寫"無所不談"文章
1974年出版的《無所不談合集》是林語堂晚年治學的文章總匯，體現了他重新用中文寫作後取得的新成績。它所涉及的話題比較廣泛而多樣，可謂不拘一格，無所不談，大凡中西文化、哲理、文學、宇宙人生、現代人物、語言、繪畫等等，都在所談之列。林語堂為它寫了序，說明了集中文章的來龍去脈及主要特點：
一九六四年冬，馬星野先生來美，約我為中央社專欄撰稿人之一。我自一九三六年辭去《論語》半月刊、《人間世》、《宇宙風》的編輯責任，赴美專著英文書籍，中文寫作此調不彈已三十年。馬先生給我這個好機會，復歸舊業，不免見獵心喜，欣然答應。自一九六五春至一九六七年間陸續撰文發表。後因與香港中文大學訂約編纂《當代漢英詞典》，勢難兼顧，乃又中輟。計三年間所作不下一百八十篇，前出一、二集已經售罄，讀者向隅。乃與開明書店商量，連同一九六八年所寫(本應為三集)，匯為合集，復分類排比或略補注篇題，以求詳備。甫琴先生毅然首肯，且擬重新用老五號字排印，為重修定本，耳目一新。甫琴先生半世知己之隆情厚意，銘感不忘。
書中雜談古今中外，山川人物，類多小品之作，即有意見，以深入淺出文調寫來，意主淺顯，不重理論，不涉玄虛，中有幾篇議論文，是我思想重心所寄。如《戴東原與我們》、《說誠與偽》、《論中外之國民性》諸篇，力斥虛偽之理學，抑程朱，尊孔孟，認為宋儒之以佛入儒，談心說性，去孔孟之近情哲學甚遠，信儒者不禪定亦已半禪定，顏習齋、顧亭林已先我言之。此為儒家由動轉入靜之大關捩，國人不可不深察其故。"論東西思想法之不同"，是我一貫的中心思想，尤詳述此議，心所謂危，不敢不告。
開明書店，意將此《合集》與以前《論語》半月刊、《人間世》、《宇宙風》及《語絲》、《晨報副刊》所發表文字彙為《語堂文集》，二書合刊為本人全集，與本集所言互相發明，以見本人之一貫旨趣。
關於我的著作目錄，請閱黃肇珩《林語堂的寫作生活》文後，及《語堂文集序言及校勘記》。
一九七三年春日
七十八老人林語堂序
關於《無所不談合集》的文章，在台灣讀者中的看法出現了分歧。據徐回憶："'無所不談'的散文，在台灣發表的時候，很多作家對它並不重視，有一次我到台灣，就聽到許多人對他的批評，一種是說中央社發這類文章，太沒意義，以一個國家通訊社的性質，至少總該刊登與國際政治經濟以及時局有關係的文章。有的則說語堂的文章總是那一套，沒有什麼新鮮的東西。我記得陳香梅女士就同我說，語堂先生似乎是關在狹小的圈子裡。外國作家同社會與世界時時有多方面的接觸，所以不會像他那樣狹。"但更多的人包括徐在內，對林語堂的"無所不談"持讚賞的態度並給予極高的評價。徐說："語堂先生這類文章，信筆寫來，都有風采
我記得以前讀到一個英國文學批評家談到拜倫的詩，好像是說，拜倫的詩，現在讀起來，每首都不見得好，但如果綜合地來讀他的全集，則就可以發現他的磅礡的氣魄與活躍的生命。這句話給我影響很深，我想現在我正好用來談語堂先生的'無所不談'，在那本集子中，儘管有許多篇我覺得平庸無奇，甚至故作幽默之處，但整個來看，那裡正閃耀著語堂先生獨特的風采與色澤。那裡有成熟的思想家的思想，有洞悉人情世態的智慧，有他的天真與固執，坦率與誠懇，以及潛伏在他生命裡的熱與光，更不必說他的博學與深思，在許多課題前，他始終用他獨特的風格來表達他有深厚的有根據的見解與確切與健全的主張。"林語堂在《無所不談合集》裡，談文學，談語言，談孔子，談《紅樓夢》，談蘇東坡，談理學，談經學等都能談出自己與眾不同的見地，倒是有幾篇談政治的文章恰恰是文集中的敗筆。
總之，林語堂的《無所不談合集》是一部文化內涵較豐厚、學術性和知識性較強的雜著。這主要表現在：(一)《合集》中最有深度和特色的文章，是有關中外文化比較研究的文章，這是他長期研究的心得。(二)有關《紅樓夢》研究。不論研究結果如何，畢竟是一家之言。(三)記述"山川人物"的散文，情真意切。這類文章融記述與議論為一爐，語言洗練活潑，揮灑自如，保持了他早期散文的個人筆調。如《一點浩然氣》中讚揚孫中山；《記蔡孑民先生》中敘述了蔡元培；《與張大千先生無所不談》記述張大千等，這些人物記述都栩栩如生。描繪異國情調的散文也寫得優美動人。如《記紐約釣魚》、《瑞士風光》、《說斐尼斯》、《雜談奧國》等。(四)抒發鄉情的散文，感情濃郁。如《來台後二十四快事》、《說鄉情》、《記農曆元旦》、《論買東西》等。(五)知識小品。如《論譯詩》、《毛姆與莫泊桑》、《怎樣把英文學好》等。《合集》真是一本豐富多彩的有價值的文集。
2.《紅樓夢》研究
林語堂對《紅樓夢》一直有著濃厚的興趣。1916年，林語堂來到清華園任英文教員，有感於以往教會學校對中文的忽略，他開始認真在中文上下工夫，而這時候，《紅樓夢》就成了他理想的教材。他在《八十自敘》裡說："我看《紅樓夢》，藉此學北平話，因為《紅樓夢》上的北平話還是無可比擬的傑作。襲人和晴雯說的語言之美，使多少想寫白話的中國人感到臉上無光。"從那以後，《紅樓夢》便成了林語堂常讀常新的一部著作。而正是這種持續的讀"紅"勁頭，使林語堂不僅獲得了語言和文化的營養，而且豐富了寫作的材料和靈感。
後來，他筆下的《中國人的家族理想》、《論泥做的男人》、《家庭和婚姻》、《小說》等一些散文隨筆，均與《紅樓夢》保持著這樣或那樣的聯繫。隨著對《紅樓夢》的情感日深，林語堂萌生了將其譯為英文的想法，然而又擔心巨大的時空差異會影響西方讀者的興趣和理解，所以決定直接用英語創作一部《紅樓夢》式的現代小說，這就是《京華煙雲》。《京華煙雲》處處都有《紅樓夢》的影子，正如林語堂自己毫不避諱地說："重要人物約八九十，丫頭亦十來個。大約以紅樓人物擬之，木蘭似湘雲(而加入陳芸之雅素)，莫愁似寶釵，紅玉似黛玉，桂姐似鳳姐而無鳳姐之貪辣，迪人似薛蟠，珊瑚似李紈，寶芬似寶琴，雪蕊似鴛鴦，紫薇似紫鵑，暗香似香菱，喜兒似傻大娘，李姨媽似趙姨娘，阿非則遠勝寶玉。"
在《紅樓夢》裡，林語堂最喜歡的是探春，最不喜歡的是妙玉。有一次，報人羊汝德問他，在大觀園裡的男男女女，你最不喜歡誰？林語堂說："妙玉，一個色情狂的小尼姑！"他說，妙玉帶髮修行，塵緣未斷，一個青春俏麗的少女，長伴青燈古佛，不免悵對春花秋月，蘊藏著滿肚子的幽怨，而形成了變態心理。他指出，妙玉對寶玉頗有好感，甚至可說有仰慕之情。妙玉好潔成癖，整套的成窯五彩蓋鐘，因為劉姥姥用過一次，她嫌髒，不許再拿進庵內，要把它丟了。但是她把自己日常用的綠玉斗斟茶與寶玉喝，表明了對寶玉的"另眼看待"。"欲潔何曾潔，雲空未必空"，妙玉的獨坐禪床，"聽見房上兩個貓兒一遞一聲嘶叫"，不覺心跳耳熱，神不守舍，竟至走火入魔。"這個風流小尼姑，耐不得寂寞"，林語堂對羊汝德說："最後被強徒劫去，不會不從，因為她內心燃燒著一團火，找不到發洩的機會。"
1966年林語堂到台灣定居後，對《紅樓夢》的興趣有增無減，他發表演講、接受採訪，《紅樓夢》常常都是重要的內容。他先是寫出了6萬多言的《平心論高鶚》，發表於台灣"中央研究院"歷史語言研究所集刊第29本，然後又有《論晴雯的頭髮》、《再論晴雯的頭髮》、《說高鶚手定的〈紅樓夢〉稿》、《論大鬧紅樓》、《跋曹允中〈紅樓夢〉後四十回作者問題的研究》、《〈紅樓夢〉人物年齡與考證》、《俞平伯否認高鶚作偽原文》、《新發現曹雪芹訂百二十回〈紅樓夢〉本》、《〈平心論高鶚〉弁言》等一系列文章披露於"中央社"特約專欄。這種對紅學的迷醉一直延續到林語堂的晚年。在他逝世的1976年，台灣的華岡書店仍然有林氏的中文著作《〈紅樓夢〉人名索引》在售。
林語堂寫於1960年代的《平心論高鶚》一書，其中對近年紅學界爭論最多的《紅樓夢》後四十回續書說提出自己的觀點。林語堂認為俞平伯用打倒孔家店觀點來評價寶玉等都是牽強附會的；而胡適搞的"大膽的假設，小心去求證"，則是"名為小心求證，實是吹毛求疵。因此愈考證愈甚，鬧得滿城風雨，結果撲了個空"。縱觀紅學發展，林語堂認為："裕瑞開漫罵之風，周汝昌繼之，俞平伯攻高本故意收場應如此不應如彼，全是主觀之見，更以'雅俗'二字為標準，不足以言考證。"