我在1954年以同等學力參加大專聯招，第一志願填的是台大中文系，但因幾分之差，卻誤入台大法律專修科。法律專修科在報名簡章中明列台大各科系之一，我不明就裡，在圈選的一大堆科系中，也順便填了它，不料放榜之日，吾名在焉。入校以後，才知道全班有的是成績足以分發到法律系卻被誤分到此班的（如陸嘯釗等人）；有的是因入學成績少考了三到五分而被名列此班的，並且知道我們這班是第二屆，頭一年還有一班第一屆（蘇秋鎮那班），兩屆一共有一百五十人，當時考大學是四校院聯招，四校院是台灣大學、省立師範學院（師範大學前身）、省立農學院（中興大學前身）、省立工學院（成功大學前身），我們這一百五十人考試成績都在後面三個學院學生之上，卻不能如他們那樣念四年。戴方帽子，當然群情憤激，認為無異上當。班上同學謝世聞，以「陋聞」為筆名，在1955年6月15日香港《自由人》上投稿《談台大的法律專科》，就指出「該科設立原由『司法行政部』提議……經費由『司法行政部』撥給」、「『司法行政部』也管起大學來了」、「適見自亂體制，破壞教育之行政系統耳」。以上種種，經同學一再反映，再加上教我們「刑法總則」的林彬本是「司法行政部」部長、教我們「中國司法組織」的徐世賢（李無簇的丈人）又是「司法行政部」次長，他們也從善如流，贊成改制，於是，法律專修科決定改為法律系司法組，原有的法律系改為法學組，一百五十位同學聞訊歡喜，一兩年的慪氣，頓時一掃而空。
我個人本來志在學文，不在弄法，只因幾分之差，沒考入台大文學院，淪入法學院，心有未甘，決定重考。但台大學生不能重考本校，得先自動退學才成。我很有破釜沉舟的勇氣，就在改制前夜的6月27日，自動退學了。一百五十人中，我是唯一一位因興趣不合，敢於退學的。由於胡家倫為我惡補數學，考了五十九分，得以在1955年考入台大文學院歷史系，從此我告別了法學院，但是並未告別法學院的許多朋友，朋友中陸嘯釗者，此中之尤也。我初與陸嘯釗長談，在念法律專修科的一天清早，我在教室看書，他走過來聊天，並拿他寫的一篇署名《青鳥》的文章給我看，我不客氣地提出意見，他頗為折服，從此成為好友。陸嘯釗又精明又聰明，對我瞭解最深。1955年4月27日，爸爸死了，我趕回台中，全班同學捐了一大筆錢送我，捐錢時人人都捐，唯獨陸嘯釗不肯，理由是：「李敖個性耿介，他絕不會收你們的錢，不信你們送送看！」不出所料，當史靜波、邵顯章攜款趕到台中時，果然錢被我拒收。
爸爸是我二十歲生日後兩天死的，死於腦溢血，晚上死在家裡。第二天午前，我得到「父病速歸」的電報後，趕返台中，一下火車，看到李華俊在等我，告訴我死訊，並陪我到停靈處，因為天熱，當時爸爸已入棺，棺蓋已釘，未能見到最後一面，我為之淚下。晚上我找譚潔力，她有照相機，我請她為棺材拍了兩張照片存念（譚潔力是一個可愛的女孩子，我暗戀她，她生病住院時還去看過她，可是一言未發就走了）。
爸爸當時是省立台中一中的中文科主任，因為在這個學校教了近六年的書，又在校外教補習，教過譚潔力等幾十人，所以「桃李無算」。他是一個好教師，公祭的時候，場面很大，自台中市市長、市議會議長以下，有兩千人。這兩千人，不但當時目擊了李鼎彝先生走向了火葬，同時還目擊李鼎彝先生的寶貝兒子李敖，表演了一次犯眾怒的喪禮改革！那時我受了胡適的影響，堅持改革喪禮，按照傳統，要燒紙、誦經，拿哭喪棒彎下腰來裝孝子、要給來弔喪的人磕頭，我統統不來這一套，並且當眾一滴眼淚也不掉，真有我老子的老師所寫「橫眉冷對千夫指」的味道。這次經驗使我深深感到：所謂「雖千萬人，吾往矣」，讀起書來容易，若真正實行起來，可就需要大勇。這次經驗使我一生受用，我一生勇於特立獨行，都伏機幹此。但這番特立獨行，卻使我從此橫背「不孝」的惡名。惡名後來愈背愈大，穿鑿附會，像一個愈滾愈大的雪球。其中一個好笑的說法是：「李敖把他老子氣死了！」散佈這種說法的，李濟便是一人。有一天，李濟向姚從吾說：「聽說李敖跟他父親意見不合，最後把他父親氣死了。」姚從吾說：「這我還是第一次聽說。我知道李敖的父親是我們北大畢業的。北大畢業的學生，思想上比較容忍、開通。李敖的父親若能被李敖氣死，他也不算是北大畢業的了！李敖對他父親的態度如何，我不清楚，但我知道李敖對母親很好，一個對母親很好的人，大概不致對父親不孝吧！」爸爸死後十一年，我印出他的遺著《中國文學史》書前寫了一篇序，談到所謂「不孝」之事，我說：
據我所知，李濟先生現在「沒有兒子」，因為他的兒子已「潛返大陸」了。所以李濟先生是屬於「教子無方」的類型。李濟先生當然不願歸咎於這是他自己的「教子無方」，他當然說這純粹是他兒子的「不孝」，他當然在飽受刺激之餘，油然而生一種「不孝過敏症，——對「不孝」的謠言神經過敏，並盼望別人的兒子也「不孝」。李濟先生這種毛病，我們也不必怪他，因為這本是一個失敗的老年人的心理變態。所以當我們看到他所主持的「中央研究院」歷史語言研究所，不走向「學術研究」
而走向「標榜孝道」的時候，我們除了該佩服外，沒話可說。
不料這篇序提到「潛返大陸」之事，引起「調查局國特」們的過敏和不滿，強令文星書店撕去這篇序才能賣書。所以，我二十歲這次喪禮改革，不但禍延顯考，並且禍延言論自由出版自由，還禍延我進不了「中央研究院」歷史語言研究所，真是後勁十足。
雷震主持的《自由中國》雜誌，在爸爸死的那年十月。登出陳養吾的「教師節為教師請命」，其中說：
……如省立台中第一中學的教師李鼎彝，平日嚴守崗位，熱心教學，他在校中教兩班中文，每週功課十二小時，由於家庭負擔太重，而薪俸收入又太有限，迫不得已，於是只好在課外替學生補習功課，每日四小時，連星期天也不例外，一家八口的生活，算是由此勉強得到解決了，但時僅三年，卻由於操勞過度而致疾以死了。
這話大致不差，事實上，爸爸是累死的。
爸爸對我寄望甚殷，他從來沒有拒絕過我向他要錢買書。從來不干涉我想要看的書，並且從來允許我自由意志的自由發揮，最鮮明的例子是坐視我不過舊歷年的舉動。我從初中二年級開始，就要移風易俗，不過舊歷年。我認為過舊歷年是一種不進步，並且違反現代化。爸爸是最通達的人，他最能知道我的卓見。他說：「好小子，你不過就不過吧！你不過，我們過！」於是爸爸、媽媽以及姊姊妹妹弟弟們，便開始興高采烈，大過其年。他們吃大魚大肉，我偏要吃炒飯；他們熬夜，我偏要早睡；他們送來糖果壓歲錢，我一概退回。我第一次不過舊歷年的時候，爸爸面臨理智與感情的矛盾：理智上，他知道我做得對；感情上，他怪我太重是非，太不肯遷就。到了第二個舊歷年來的時候，爸爸習慣了，也就不再矛盾。從此一連五個年頭，直到他死以前，我從沒有把那混賬的舊歷年過過。不過，他死後，媽媽陷入一個寂寞的處境。當第一個舊歷年到來的時候，當媽媽習慣性地替我安排大魚大肉以外的炒飯的時候，我沒說一句話，放棄了炒飯，加入了「過年派」的陣營。有一次過年時，我向媽媽以下的各位，講述李濟說我氣死老子的話，大家聽了哈哈大笑。我開玩笑說：「我若真有氣死老頭子的本領，那我首先該把別人的老子氣死幾個，我是絕不會遵守傳統，『氣吾老以及人之老』的！」
爸爸死後，自台中市長林金標以下，到一中師生，大家捐了錢，做子女教育基金；東北同鄉自莫德惠以下也捐了錢，其中高惜冰、程烈都各捐一千元，當時都是大數目，總數捐了三萬多，由媽媽放在彰化紗廠生利息，後來不足維生，不斷提取本金，三四年間就提光了。媽媽在爸爸死後不久，即去一中做職員，在訓導處掌管全校操行登記，當時弟弟李放也在一中，功課不行，媽媽常常拜託老師們給予方便；但當別的老師反過來拜託她放寬操行登記時，她卻鐵面無私，其公私標準，煞是有趣。
爸爸留給我二項有形的遺產：一、兩套《資治通鑒》，一套是殘缺不全的鉛排胡三省音注本，一套是影印百衲宋本，都在我窮困時賣掉了，前者由同寢室的孫英善買去送給張玉法了；後者由台大歷史系買去了。二、一隻普通的手錶，由於是火葬，手錶拿了下來，那時我窮得沒錢買表，爸爸戴的，最後留給了我。
1955年我二十歲，暑假後以第一志願入台大歷史系，表面上如願以償，但是很快就大失所望。我看不起別人、不喜歡上課，連考試都懶得應付。大一時八門課，有三門不及格，甚至連中文都差點不及格。原來中文是葉慶炳教的，第一次繳作文，他雖在班上公開誇獎李敖的作文全班第一，可是我一直討厭他，認為他沒有學問卻裝腔作勢，後來我拒絕背書，他聲言給我不及格。他的老師——中文系的鄭騫在旁講了一句話：「李敖的中文不及格，誰的中文及格呀？」葉慶炳有所顧忌，給了我六十八分，我大一總成績，第一學期只七一·三一分，第二學期只六五·四五分，成績之爛，一望而知，可是「不畏浮雲遮望眼，自緣身在最高層」，我始終自喜我有學問，只是不屑上課和應付考試而已。
我在中學時，偶爾在路上碰到一位女學生，清純無比，眼睛不大，但在含情之中，透視出一片靈光。慢慢知道她住我家附近的存信巷，家裡很窮，父母在家開一小雜貨店，每逢星期日，全家在思恩堂做禮拜。她就讀的學校是台中市中，比我低一班，功課極好。我高三時休學在家，寫了很多情書給她，每封都稱呼她叫「羅」，都等她在放學經過的太平路上面交，可是不說一句話。我進台大法學院後，情書改由我在市中唸書的大妹轉交，每封都談天說地，都很長，有一封長達八十三頁，後來因故中斷。爸爸死後，她寫信給我，於是重續前情。我重考進台大文學院時，她考入台大理學院化學系，住女生宿舍，我卻沒去找她，還在寫信。直到有一天，她約我在入夜的校園相見，從此陷入熱戀。碧潭泛舟、傅園過夜、圖書館雙進雙出。……到處是兩人的身影。有一段時間我送報。送全台大各單位的報紙，早上未明即起，騎車到火車站附近販報地以現金批來報紙，就地折好套好，再趕回台大，等到送到女生宿舍時候，她一定等候在門，雙手奉上為我沖的熱牛奶。感情好到這種程度，不但同居，並且在大二時，她乾脆轉出了化學系，轉進了歷史系（在她轉出時，有一個化工系的學生轉進化學系，就是李遠哲）與我同班了。不過，相戀得太滿也就是晴陰圓缺的開始，我的信仰和窮困，構成了我們分手的主因。信仰方面，我不信宗教，並且態度堅定，而她一家都是虔誠的基督徒，我沒有蔣介石等人的本領可以為女人改變我的信仰，這下子構成她父母兄妹激烈反對我的借口，當然，更基本的原因是我太窮，並且毫無將來會變得有錢的跡象，這對開小店的她的家人說來，誠屬不快之事。她有一次告訴我：「1949年剛來台灣時，家裡一貧如洗，媽媽做了一雙布鞋，叫我沿街去賣，我看到一位高大的先生，很膽怯地上前問他可要看看這雙鞋，不料他大吼一聲，表示不耐，嚇得我哭著回來。」還有一次她的腳踏車丟了，她痛苦極了，寫了一大篇文章，題目是「還給我吧，請你！」發表在香港出版的《今日世界》雜誌上，文章哀婉、淒楚感人。家境的艱苦，似乎使她的父母加深了反對異端李敖的敵愾，我和她有一對石印，她父親發現了，把有她名字的那顆印，磨去名字退還給我；而她的母親則說：「你將來闊到了做總統，我們也不上你門；你將來窮得討了飯，討到我們家門口，請你多走一步！」使我對虔誠的基督徒的作風，有了極深的印象。「羅」的功課各科都好，考大學時，中文作文近九十分，台大中文系主任台靜農後來告訴我：那屆中文作文，以那篇文章得分最高，他們原以為是李敖作的，不期竟出自「李敖的女朋友」之手。由此可見「羅」在中文上的功力。以那種功力，與我互寫情書，內容精彩，可以想像。不過這些信都燒掉了。「羅」送我一個本子，原來整本抄的是朱光潛的《給青年的十二封信》，她中學時沒錢買書，那時代也沒有影印機，所以她就手抄了整本書。她的字跡秀麗、思路敏捷、聰明過人，讀英文詩，三四遍即能背誦；我生平交女朋友不少，但是論眼神、論才氣、論聰敏、論慧黠，無人能出其右。兩人分手之夜，她把內褲送給我，縱《紅樓夢》的花襲人亦不若也。
「羅」的離去，使我遭遇了有生以來最大的困境，那時我年輕，一天晚上吃了一瓶安眠藥，被同房的翁松燃發現，強拉我去台大醫院洗腸。在我《大學札記》、《大學後期日記》甚至《一個預備軍官的日記》裡，可以很明顯看到我怎樣勵志自勉，度過那最大的困境。其實，度過的根本方法不在勵志自勉，而該趕緊李代桃僵、趕緊以新的情人取代舊的，一如桃子沒了，解決之道不是勵志自勉桃子多不好吃，而是趕緊吃起李子來，有李子好吃，自然對桃子有抵抗力，不再沾戀。不幸的是，有三四年之久，我一直未能成功地達成這一轉換。在大學後期，我跟同班的有英國血統的「咪咪」有短暫的戀情。「咪咪」身高一米七零、身材一流、皮膚白皙，分手之日，我把她的來信都還給她了，我寫的信，只剩下一封復本，就是發表在《李敖情書集》中的第一封。「咪咪」的父親是名人，家世不錯，她儀態在優雅中有股氣焰，一看就是大家出身的。有一次我看到她手執線裝本仁壽版《二十五史》，覺得古籍紅顏，正好輝映。我至今還保有她送我的世界唯一一張她小女孩時的照片，神韻飄逸，有著混血兒的美麗。
我雖然也勾引過別的女生，但靈則靈矣，乏肉可陳，那個時代女生少，思想也不開放，我這種不去教堂、不會跳舞的死硬派，其實要找個理想的女朋友並非易事。「紅顏知己」上的苦惱，使我大學念得很不快。我畢業後，1960年2月12日，在部隊裡收到蕭啟慶的信，有這樣一段：「日前與姚老談，他認為在我們班上，在各方面，您都是最成熟的一人。又說您不輕易寫東西，而寫出來的東西一定『很像樣』。我很贊同他的看法。」我想，姚從吾老師和我同班好友蕭啟慶的看法，正好可做為我歷史系四年的總評價，我的確是一個「在各方面」夠得上「最」字的大學生，雖然大學生這一階段，我過得相當吃力。原因是「世俗的我」和「理想的我」的衝突：在內心深處，我高蹈自負，以超人自勉自許；但現實上，我沒有足夠的力量完全擺脫或操之在我，因此，年復一年陷在衝突局面裡。總結是：在歷史系四年，其實是我一生中最不滿意的階段，我缺乏令我折服的友情、缺乏穩定的愛情、缺乏經濟能力，那是我一生中精神上最不從心所欲的階段，比中學時期，尤有過之。我一生如果時光倒流，重過一次，我寧願少活十年，也不要重過中學生、大學生那段日子。——成長的歲月其實是痛苦的。依靠別人的，那是「世俗的我」的沼澤，絕非「理想的我」的處遇。大學時代的結束，表示自己能夠慢慢走向獨立、走向茁壯、走向真正的獨行其道。對「理想的我」說來，這才是真正的起步、真正的開始。
我在1959年6月18日畢業，8月2日南下台中，這天上火車時，到台北車站來送行的有周弘、景新漢、馬宏祥、白紹康、華昌平、李華竣陳又亮、陳鼓應、祝庭生、張克斌、袁祝泰、朱廣誠、黃錫昌、施啟揚、佟耀勳、闕至正、孫英善、林淑美、楊祖燕、楊世彭、袁天中、蕭啟慶、王尚義、陳良渠、王曾才、李耀祖等二十六人。我在台北的五年大學風光，就此告一段落。交遊之廣，由此送行名單中可見一斑。這一現象，顯示了我雖然一身傲骨、自命不凡，但在待人接物上，卻從無滿臉驕氣，我不但休休有容，並且樂於與人為善。以我對理學院物理系的好朋友孟大中為例，就見一斑：孟大中的父母早在印度離婚，離婚後他和弟弟都隨父親到台灣讀書，母親仍在印度。有一次聊天，我忽然想起，如果離婚時，離婚證書上兄弟跟了母親，那麼兄弟兩人即可視同僑生，不必當國民黨的鬼兵了。孟大中聽了，為之心動，希望我幫他假造一張離婚證書。我說可以，可是其中法律問題得找施啟揚。於是到法學院找到施啟揚，告以原委，遂由施啟揚起草，捏造了一封符合當年印度離婚情況的「離書」，其中每一細節，包括幣值換算，都做得天衣無縫。造好後，由我親自刻印二枚，做為證人。一人名「彭立雲」，一名為「孔昭慶」，用印後，全紙用茶水泡過，再予曬乾，於是大功告成。為求妥善，我建議孟大中去找台大訓導長查良釗，查良釗當年也在印度，與孟大中的父親為舊識，可做人證。查良釗在西南聯大時外號「查婆婆」，樂於助人，又為人糊塗，如告之以離婚時兄弟跟了母親，他必然會跟著說模糊記得，如此在「離書」以外，可多一人證。於是一切依計行事，孟大中果然不必當兵，遠走高飛矣！我的足智多謀，樂於助人，由此可見。台中一中老同學劉家順，保送入台大，他印名片，頭銜是「台灣大學政治系保送學生」，洋洋自得。此公畢業後離台，在松山機場，飛機起飛了，還被警備總部下令飛回，把他逮捕。孟大中離台時，我到松山機場送行，我說：「這回你遠走高飛，可自由了。」他說：「想想劉家順吧！要真的飛走了才算！」
在台大時期，除了結識同學外，前輩人物結識了胡適。我跟胡適的關係與胡適的學生——我爸爸完全無關。我在北京小學就知道胡適的大名，在初中時，從陳正澄那兒借到《胡適文遜，從此才深受他的影響。1952年10月1日，我在台中車站遞了一封兩千字的長信給他，那時我才十七歲。1954年，陳世熙在台大辦《這一代》雜誌，拉我寫稿，我就寫了《從讀〈胡適文存〉說起》。文章寫好，他們顧忌，沒有用，就還給了我。過了兩年，陸嘯釗辦《大學》雜誌，他不在乎，遂拉去刊登。刊登後近一年，有一天「羅」忽然提議說：「何不寄給《自由中國》？他們一定登！」於是我刪了一部分，她代為抄好，遂改登《自由中國》。這是我在《自由中國》上發表的第一篇也是最後一篇文字。刊出的時間是1957年3月1日。此外我在《中央日報》也發表過一些有關胡適的文章。在《自由中國》發表文章後一年一個月，胡適從美國回來，約我到台大校長錢思亮的家裡，跟我說：「呵！李先生！連我自己都忘記了。丟光了的著作，你居然都能找得到！你簡直比我胡適之還瞭解胡適之！」他並且透露：「雷震特別寫信給我，推薦你這篇文章。」雷震那時辦《自由中國》雜誌，嚴批台灣當局聲動中外，能夠在那個雜誌上用真名發表文章，我深感光榮（施啟揚也寫過一篇，但不敢用真名發表）。
雷震雖然辦《自由中國》，但是這雜誌真正的靈魂人物是殷海光。殷海光是台大哲學系教授，我的文章發表後，張灝跑來找我說：「殷海光看了你的文章，想見見你。」張灝在歷史系比我高兩班，我認為他才氣很弱，他是殷海光吸收及門第子的前期人物，同殷海光關係不錯，但他除了翻譯外。寫不出任何東西登《自由中國》，始終是個喜K洋書的蛋頭而已。殷海光責備胡適喜歡以人情的原因揄揚別人的學問。說得很對，但他自己，卻也犯這種毛玻殷海光吸收門弟子，當時都是張灝型的，整天只會看洋書、談方法學，但他們的知識基礎太窄。貨太少，所以充其量只會搭鋼筋，沒有水泥。殷海光自己也水泥不多，但他在大陸見多識廣、文筆又好，所以能彌補不少「水泥缺貨」，他的及門弟子卻比他差得太遠、太遠。這種情形殷海光自己是心裡有數的，但他的及門弟子心裡無數，所以他們在台大，頗有不知天高地厚的毛病，以優異學生自居。我在台大，乍看起來，不是用功的學生，因為很多大學生念的書，我早在小學中學時候就念過了。在知識上，我是早慧的、早熟的。到台大後，我穿著長袍，整天搞「大學生同居」，形式上，我是有點「安事詩書」「束書不觀」的。我不上課，不抄筆記，也不買老師的賬，尤其是我看不起的老師。我在台大既如此特立獨行，自然被側目而視，只會皮相之見的人，當然只會從皮相看我這個「長袍怪」，而不知道我有「一飛沖天」的真本領。所以在台大的我，只是「不露文章世已驚」的我，只是部分的我。但這種真相，只有我知道。「蛟龍得雲雨，終非池中物」，在台大池中，我被看作一條怪泥鰍，一條大泥鰍，畢業兩年後，我退伍回來，我就證明給每一個人看：你們全錯了，我是一條蛟龍！埃及在納塞當政的時候，人人都把他的副總統薩達特看做一個喜歡穿好衣服住好房子的凡人；納塞死後，美國特使李查遜弔喪，秘密向尼克松報告說，薩達特當權不會超過四到六個星期，結果卻證明大家對薩達特都看走了眼。我一生中，被人看走了眼的次數也不在少，我總是用事實證明給每一個人看：你們全錯了，我是一條蛟龍！所謂蛟龍，是一種能發洪水的龍，中國傳統把革命性的異端看成洪水猛獸，我實在是這種洪水猛獸。限於政治環境，我清楚知道我做洪水猛獸的限度和下場，可是我仍舊朝前做去，這種使命感和悲劇感，對我而言，一點也不短，因為我早在小學時代中學時代就形成了。先一代的蛟龍人物，陷在這個島上的，我看來看去，只有兩個人夠格：一個是胡適，一個就是殷海光。我大學時代，胡適已經老憊，蛟龍氣質，已經像丁尼生筆下的荷馬史詩英雄，無復五四時代的風光；殷海光則如日中天，《自由中國》是1949年冬天創刊的，到1960年冬天停刊，前後十一年，殷海光在這十一年間，真是蛟龍得水；而這十一年，又正是我的中學時代大學時代，我進台大的時候，正是殷海光最紅的時候，也正是《自由中國》最紅的時候，他的蛟龍氣質，自然使我佩服，他托張灝約我去看他，我自然很願意。
約會訂在下午，在殷海光家裡，我如約前往。開門的是殷海光，他給我的印象可真糟：又瘦又小的身材、又蹭又蹬的跛腳、粗糙的雙手、雜灰的頭髮、風霜的臉、兩隻對稱不佳的小眼睛，從三角眼皮下不友善地瞪著你。他的頭與四肢，聯合得很生硬，他緊閉嘴唇，作顧盼自雄狀。真是作狀，因為他的造型，實在極少雄的條件，但他硬要誠於中形於外，結果好像他外在的瘦小，快被他內在的偉大繃裂了似的，看起來真教我難受。「他為什麼這麼做作？這麼緊張？羅素的信徒不該這樣啊！」我心裡這樣想。「他完全不像思想家、不像哲學家、不像大學教授，他倒像是北門郵局門口賣春宮畫的，當然賣春宮畫的不會顧盼自雄。」我這樣想，的確心裡犯了大不敬之罪，可是我怎麼也忍不住不這樣想，我真的從心裡對他抱歉。更糟的是，從他背後又鑽出一條毛茸茸的東西——條大狼犬。這條狼犬，殷海光命名為「領袖」，是把納粹黨對希特勒的尊稱的走狗化。「領袖」究竟是「領袖」，威武無比，跟殷海光比起來，愈發顯出殷海光的猥瑣。「他真不該養這條不民主的東西。」我想。
我不知道殷海光對我第一印象是怎樣的，大概也不會好，我想我對他一定還以顏色了，因為兩人談得極不投機。我逼問他一個問題：「罵國民黨是對的，國民黨真的該罵。我要請問的是：你過去為國民黨主持過宣傳，你是國民黨員，你怎麼解釋這一點？」殷海光被我突如其來的問題弄愣了，他很不高興，顯然不願面對這個問題，他很窘，好像怪我知道得未免太多，他拖了很久才說：「我已經忘了我做過國民黨了！我對這種歷史的問題沒有興趣。」聽了他的答覆，我很難過，我覺得殷海光在這一答案上不夠誠實。我說：「我是學歷史的人，我對這種問題有興趣。」我表示：國民黨自從在大陸失敗逃到台灣後，他們檢討失敗的原因，可分兩派：一派認為專制得不夠，今後要多專制才行；一派認為自由民主得不夠，今後要拋棄老套，要做深刻的進步的反省才行。做這種反省的人數極少，但最成功的就是殷海光。因為這種反省的成功，有兩個條件：第一要有知識，第二要無政治野心。有知識，才知道大江東流擋不住，非得自由民主不可；無政治野心，才能維護理想主義的標準，不把自由民主當做爭取政治地位的手段，而當做一種目的。我認為殷海光最有這兩個條件，所以反省得最成功，在《自由中國》的表現上最出色。但這種成功，在國民黨眼中，卻認為是他們的失敗，他們的集團裡出了叛徒，並且是有頭有臉有力量的叛徒。他們在痛心之餘，會抬出忠黨問題來使大家難看，所以我認為：「不惜以今日之我與昨日之我戰」的勇者，應該把他跟國民黨的臍帶關係交代清楚、公開交代清楚，不要閃躲這個問題。這種勇者大可公開脫黨。公開宣佈脫黨的光明正大理由、公開表示他要為公誼拋棄私誼，為「國是」揭發黨非。他不該在黨籍上採取不了了之的態度。曖昧的態度、隨便脫離了的態度，或是靦腆的態度。所以，我認為這是個有意義的歷史問題，應該使人有興趣的。
我同殷海光的第一次談話，就在並不投機的情形下做一結束。我對他印象奇劣，雖然我喜歡他那光芒四射的文章，可是對他這個人，我卻十分倒胃，倒胃得甚至不想選他的課。所以，大二的邏輯我沒有眩此後我都和他並無來往，我在1958年6月15日日記裡寫道：「『國』實無人，如胡適之老是賣老貨，殷海光也老是那一套，即可受歡迎，但他們又何其狹窄。」在第二年1月6日寫道：「夜讀邏輯，決定好好學到殷海光，從馬戈言，此不難也。像『吸收』胡適一樣，他沒有多少好『吸收』的。」這些日記，都表示了我有限度地佩服殷海光，但同他並無來往。我的邏輯，直拖到大四時才修，修的還是台灣笨蛋教授曾天從開的課。但考試那天，卻碰到殷海光監考，他在旁邊看我寫考卷，說了一句：「你的考卷洋洋灑灑。」此外，我只記得一次在馬路上碰到他，我向他請教一個方法學上的名詞。除此之外，見面時我也學他樣，故意冷峻，好像兩人不認識似的。古話說：「惡聲至，必反之。」殷海光不通人情，真該給他還以顏色。這就是我當時對他的態度。在我快畢業時候，殷海光及門弟子林毓生（在歷史系比我高一班）在鳳山預官七期的刊物上，用科學方法，分析了蔣介石的「偉大」，他不但馬屁拍得十分肉麻，還即時加入了國民黨。他的同班馬宏祥找到這篇文章，和我一起告訴殷海光。殷海光大為痛苦，他大概做夢也沒想到，他傳授的科學方法，竟被林毓生這樣運用了！
胡適和殷海光是我大學時代最佩服的兩位前輩，其他不論師友，與我固有交情，但談佩服則吾豈敢。由此可見，我這個大學生是如何挑剔。如何眼高於頂了。