在快退伍時候，我不得不留意退伍後何去何從，我本想去母校台中一中謀一教職，但因人際關係不夠，連中學老師都做不成。正在發愁之際，1960年12月11日，我收到蕭啟慶的信，說：「姚老昨和我談挽您出任他助理的事，他要我告訴您，正式的名義是『國家講座研究助理』。每月可支一千元，外無配給，他想借重您，不知您是否願意。」我回信說：「前幾天曾返中謀教席，鎩羽而歸，若走投無路，只好就『助理』之職，此時並非不欲為，蓋我恐辜負老頭兒一片好心，我擔心我的耐心與能力是否可與之共事？是否可有助於他？否則拿乾薪太不好意思。」雖然我有此顧忌，最後還是「欣然同意」了，因為不同意，退伍後就沒飯吃了。
1961年2月6日早上，我結束軍隊生涯，自澎湖搭軍艦回高雄，旋即抵台中。15日北上，暫住溫州街七十三號台大第一宿舍第四室，決心要找一間小房，做為一個人能夠清靜的所在。這麼多年來，我從沒機會一個人有一間房，此番北上，一定要達成這一心願。兩天後，我租到新生南路三段六十巷一號的陋巷小屋，只四個榻榻米大，矮得雙手不能向上舉，我訂名為「四席小屋」。隔壁住著李善培，我們合買了一台收音機，又弄來唱機，把木板隔間挖一個洞。置收音機與唱機於洞口，兩人誰都可以使用它。「四席小屋」只是陋巷中的一間，陋巷左右門對門共有小屋十多間，活像「軍中樂園」。進入巷口第一間是一個一百零一公斤的胖僑生租的，他房裡有一台小電扇，我最羨慕，因為我買不起。住進「四席小屋」對我是大日子，這天是1961年2月17日。小屋月租二百二十元，是李士振借給我的。第二天，我即有日記如下：
入夜在小屋中邊整理邊讀寫，伏大桌上，點一百支燈。聽外面小雨聲，
想到多年奔波，今夜起聊得小休，興奮得連撒三尿。
「四席小屋」開門就是陋巷，出巷即是台大。台大那時正是春暖花開的季節，我走回來，大有物是人非之感。過去的老朋友，老情人都已高飛遠揚。晚上從姚從吾老師的研究室走出來，整個的文學院大樓一片漆黑，我想到我的身世和抱負，忍不住要歎一口氣。有時候，陳寶琛那兩句詩就從我嘴邊冒出來，正是：
委蛻大難求淨土，
傷心最是近高樓！
那時助理薪水遲遲沒能發下，我北上時候，媽媽送我二百元、三妹送我一張火車票，此外全靠借錢維生，窘迫不堪。那時施珂在成功中學教語文，他說語文老師們懶得改作文簿，願以一本一元的代價，由外面承包，如願意，他可搭線，我當然願意。在日記裡，我有這樣一段：
珂送來作文本，張淑婉先生的一班，五十本，花了一口氣就在一小時內改了二十本，賺了二十元。
作文題目是《我的理想》，一個小混球（初三甲邱廷光）寫道：「有些人的理想很大，但是不能去實行，也就和沒有理想一樣。我的理想並不大，就是能夠把「中國」復興起來。……」我在上面批道：「此理想也不小」善培見而大笑。
有一天，只有一張吃一頓的飯票了，我拿在手裡，送給李善培，我假裝說我吃過了，害得自己餓了一頓。人窮到這種程度，只好趕寫文章發表，靠稿費救急。於是，從三月到四月，我寫出《充員官》、《獨身者的獨白》、《愛情的劊子手》、《中國小姐論》等文章，分別發表在《中華日報》、《聯合報》、《人間世》雜誌等，聊辟財源。那時劉鳳翰在《幼獅學報》發表文章，稿費甚優，他說可以介紹我去投稿，我拒絕了，因為我討厭蔣經國的救國團，當然也討厭它的刊物。
我不但努力寫作，也努力進修，忽然發神經，要把法文、德文同時學出個名堂。乃加入補習班，每週一、三、五學法文，二、四、六學德文。過了一陣子，有人問施珂：「李敖到底是法文好還是德文好？」施珂說：「那要看你是星期幾問他。」最後，哪一種都不好，全都難乎為繼了。
「四席小屋」雖好，但是每晚有老鼠在天花板上奔馳，未免美中不足；白天又因地處要津，每天客人不斷，最多時候一天有十四個客人，附近環境又太吵。老太婆、少奶奶、小孩子一大堆。我雖在陋巷，但自己卻先「不堪其擾」起來。熬了四個月，決定下鄉。選來選去，在新店選到了一間小房，背山面水，每月兩百元，於是我裝滿了一卡車的書，在6月15日搬到新家。新家是新店獅頭路十六號，我訂名「碧潭山樓」。所謂山樓，其實很簡陋，不但通過陋巷，且要通過臭菜場與臭河溝，房子只是一間五個榻榻米大的小房，不過是鋼骨水泥的，絕無鼠輩在頭上奔馳，可謂一快。還有一個好處，就是有浴缸可和二房東陶蘇保一家分用。我獨自一人倘佯山水之間，或入夜泛舟碧潭，或看廉價電影一場，極得孤寂之樂。我在房門外掛的牌子是：
也許在划船、在看電影或在吃飯，反正沒離開新店。可見我新店山居歲月的一斑。7月5日日記：一個豐富的工作天，寫出信四，卡片寄給胡（胡適），看《武士妖後》釘架子，改了一百本作文，晚接客，景（景新漢）鼓（陳鼓應）吳大中（原註：九年未見了！）少傑（張少傑）四人，十一時始歸我所有，六小時寫五千字。
7月11日寫《生活小偈》：夜涼似水，幾淨燈明，小室獨處，抽煙品茗，一念不起，心定神凝，靜中讀書，浩（改「悠」字亦佳）然忘情。7月12日寫《女壞蛋的第一次試煉》：下午研究所報名畢，將上車，鮑家麟等五個丫頭忽莫名其妙地邀我，說請我吃冰，七嘴八舌，述我的「影子」，諸如平光眼鏡、軍中放言、帽中女人、信罵「莎崗」、遮日記給人看……不可勝數，我縱言反擊之，極得豪邁之樂，我以鳳梨酥、壞蛋論、狗眼看人低等論揄之，了無所忌，又言偷看老姚日記等事，使小鮑家麟以手帕遮小口大笑多次，真是開心。……
7月22日寫《打水仗回來的感想》：今天是週末，我看了一聲《陷阱》，述小男孩戀白朗黛·李。下午大練水泥石礅，昨天做的，工本十九元，一定要練出一個偉大的體魄不可。晚飯番茄四隻。獨自泛舟歸，三漢子三丫頭已在座，又去划船，大打水仗，華俊慘敗，客散伏案，已一時矣。
報載留學生「學成」歸台啦、王其允獻唱拉，以及馬戈之「叛變」啦，華俊之欲飛啦，她們說僑生們之追莫宜春啦。《聯合報》又退我稿子啦……似乎每件事都可以引起我的一點小感想，想到頭來，所感者只是一種，就是不管別人怎樣變化，不管別人怎樣看我，我都不介意、不沮喪，我李敖就是我李敖，我討厭市儈之浮名，我討厭被動，討厭走這些青年男女所走的路，「命運」注定我要走我的路，而山居獨立，正是一個起點，我高興我竟在二十六年的「為外物所牽」的生活以後，竟能開始走上我真正該走的路，我不能不高興，當然在這種高興裡面有著相當比重的孤寂與歎息，可是這又有什麼關係呢？我是這麼迷信我自己！迷信我自己所走的路！當我看到陳其龍和他的女朋友。看到小丫頭白白的膝蓋，想到鮑家麟那白淨聰明的小樣兒……
也許我也未嘗不稍稍起一點「伎求之心」，但是這些「妄念」很快地就被我那對「重大的決定」的迷信打消了。打消得煙消雲散，我看著善培送我的好煙好茶，想到我已經不再是一個溫情和多情的人，也許我愈來愈變得理智與冰冷，對人淡漠，我沒有辦法不這樣變，只有理智的獨行特立可以拯救我自己，我把我自己跟這些年輕人拉了條鴻溝，這是一條沒有人肯去也沒有人能走得好的路，可是我走了，它給了我永恆安全與成績，這三項安慰是任何慾望太強心兒太浮的人得不到的。
這種感覺以後我也不多寫了，我改用「著手研究毫不相干的一個小專題」來消遣我自己。
7月29日寫《病後小記》：昨晚獨泛看月出，忽得嘔疾，午後新漢得電，驚慌前來，馬戈亦「掩喜」而至。今晚二人皆有約，皆跟小娘子快活去也。準備考試，殊煩厭，此生將不復致力於此，夜來房外又是麻將一桌，陶李（二房東的小男孩）睡去，小得安寧。我無法答覆我的自問，我無法否定女人與人生的意義，理論上我無法自圓，但在實行上，我至少可以「這樣活下去」，雖然沒有女人，可是還可以活得很景氣，技術上既然沒有什麼困難，我反倒喜歡起「董事長」（孟大中）那句話來，「要那麼快樂幹嗎？」這句話真有它的份量，何況為了獲得女人的肉體，不快樂的代價不是記憶猶新嗎？唉，算了，算了，還是一個人過吧。「要那麼快樂幹嗎？」
日來多申厭情（厭惡溫情）之意，是乃大割（收割），悲情者，無動於衷也；無情者，不形於外也；情之為物，與李敖實不相稱，故只好去之；去之唯恐不盡不堅，故厭之。
7月31日寫《人間俗氣一點無》：留學考放榜，引起我許多感觸，我覺得在默察人生上面更向前邁了一步，好像我走的路，愈來愈跟他們隔得遠了。我的思想現在顯然是相當出世的，出世得覺得「許多事是盲動，許多話不值得說」，因此我顯然選擇了喜歡獨處與不愛多說的路，我打不起勁兒去熱中人事，我畢竟是反派的人物，我不再能肯定世俗的榮耀與騰達，一個走到我這種境界的人，不會再有寂寞的感覺，我不怕孤獨，我不怕孤立。
想到死亡與牢獄，常常想到死亡與牢獄，我為什麼不去做我喜歡做的呢？我該笑「塵網」，在「塵網」中漏下來的沒出息的「被遺棄的人」，我就是一個。我突然發現我是一個不折不扣的犬儒派，除了不在木桶裡面外，我實在找不出我走的方向與Diogenes有什麼不同，這是一條多好玩的路，一條永遠可恃永遠清淨的路，做點有性靈的事，說點精煉過的話，寫幾篇真正屬於李敖自己的文章，無牽無掛，終此頑生，不亦快哉？
8月17日寫《麗珍生日感言》：送走又亮，已是下午，閉門靜想，望著窗外的鐵欄。如置身獄中。是七巧，麗珍陰曆生日又到了，決定無所表示，最後一次機會我也放棄了。台中十一日，連聞陳琪、張忠琳結婚。
台北方面，新漢似新歡正洽，善培、飛飛（黎鴻飛）乃至華竣方印（梁方印）等亦採集團行動，在華僑新村等往來正繁，昨日拉我就食，我拒絕，也許我從此失去了與王小姐接觸的機會。
我的氣息如此堅決，我甘心把我自己墮入孤獨、小屋、幻想和工作裡，我不太倚靠理論，我只信任「實行上沒有困難」，我相信這一點，因此我幾乎沒有顧忌地放棄了大量的「快樂」（某些種類的，也許是合乎自然律的，可惜是高價而短暫的）。
剛才窗外一個穿浴衣的小女人即刻引起我的勃起。也許我這種強烈的慾念與我走的「中古式的寂靜主義」的道路太不相稱，可是至少在目前，我絲毫沒有走回頭路的企圖。兩個月前遷居的時候，他們有的說我一個月會搬回台北，有的說兩個月，現在兩個月了，我仍在新店如火如荼大張撻伐地過著「修道」生活！
我在變化，成功地變化，過去的李敖將不認識今日的自己，我不能不驚歎於我的能力，我畢竟把我鍛煉成一個我要變成的人，我不想後悔！
以上這些日記，都記錄了我在新店山居時期的心境，我自勉自己走向狄阿傑尼斯式的「犬儒主義」的生涯，自強不息，但卻傾向息交絕游，尤其跟女人的關係，我始終未能脫離修道院式的矛盾與困境。這種修道院式的自律方式，其實是禁不住試煉的。所以，一旦美女出現在我眼前並且易與的時候，我的形而上還狄傑阿尼斯，可是形而下卻不狄傑阿尼斯了。這位美女，就是王尚勤。她是台大農經系四年級的學生，我雖認識她哥哥、妹妹，可是一直到1962年2月24日在「中央研究院」的公車上，我才碰巧認識了她。我約她來「碧潭山樓」一次，她是我新店山居九個半月中，唯一一位與我單獨在一起的女人，這年3月29日，我就搬回台北了。「碧潭山樓」的房子和簡陋傢俱，都移給陳鼓應了。
新店山居給了我許多退伍以來的新經歷，比如我終於接近了大自然（那時碧潭還沒被污染）。比如我終於睡上了木板床（在「四席小屋」睡的是行軍床）、比如我終於考上了研究所（兩年前為了迴避「羅」考研究所，我沒報名）。……新店山居雖有很多新經歷，但是一個老經歷還是沒有解決，就是窮困。在給姚從吾老師做台灣長期發展科學委員會助理的時候，因為該會成立不久，一切還沒有完全上軌道，所訂一些規章不盡理想。在助理人員發薪上要拖上一陣子，就是一例。我身受其害，我忍不住了，決定不使姚從吾老師為難，直接「通天」了。——我在10月6日寫信給老師的老師胡適，向他抗議。因為他是這個委員會的負責人。我信中說：
我們做助理的人與研究講座教授和領甲乙種補助的先生們不同，他們有教授、講師的本薪，補助的錢對他們是「安定費」，是本薪以外的「補」與「助」，可是我們「助理級」的就不同了，早幾天或晚幾天發薪對我們所生的影響是不能跟他們比的，每月唯一的一千元，它是我們的本薪，它遲遲不發，對「專任」兩個字是一種諷刺，並且使我個人不好意思再向姚先生借錢，使我三條褲子進了當鋪，最後還不得不向您嘮叨訴苦，這是制度的漏洞還是人謀的不臧我不清楚，說句自私的話，我只不過是不希望「三無主義」在我頭頂上發生而已。
胡適收信後，在7日就限時信寄到我新店山居，他寫道：李敖先生：
自從收到你7月4日的長信和那一大盒卡片之後，我總想寫信請你來南港玩玩，看看我的一些稿件，從吾先生說：「等他考過研究所再找他吧。」後來我見報上你考取了研究所的消息，那時我又忙起來了，至今還沒有約你來玩。過了「雙十節」，你來玩玩，好不好？現在送上一千元的支票一張，是給你「贖當」救急的。你千萬不要推辭，正如同你送我許多不易得來的書，我從來不推辭一樣。
你的信我已經轉給科學會的執行秘書徐公起先生了。他說，他一定設法補救。祝你好！
胡適1961年10月7日夜
這張支票可以在台北館前街土地銀行支取。
我收到胡適的信和一千元後，非常高興，也很感動。胡適是我爸爸的老師，雖然他早已忘了我爸爸的名字。他對我的賞識，純粹是基於我的治學成績使他訝異，他有眼光看出我是最有潛力的台大學生，我很感謝他對我的特別照料，這一千元的確幫了我大忙。也許有人說風涼話，說胡適此舉，意在收買人心。但是他老先生這樣做，對人有益，對己無害（除了少了一千元外），又何樂而不為？別的老先生，高高在上，會這樣幫助一個年輕人嗎？一比之下，就知道胡適的高人一等了。
為了救急，我只好動用胡適寄來的一千元。但我決定不把這一千元做為贈款，只做為貸款，我決定借用一陣子後，把錢還給他。
我在10月10日回信給胡適，表示我對他的感謝。信中細述了「李敖先生」的一些身世，其中包括我跟嚴僑的關係，和在嚴僑被捕後、死去後，我如何受到胡適自由主義的影響，因而在思想上得到新的境界。這封信寫得很長、有五千字，寫得很動人。我聽說胡適收到信後，深受感動。他拿給幾個人看，其中真巧，在10月28日葉明勳、華嚴夫婦去南港看他的時候，他把信又拿出來，因而從這對夫婦口中。得知了一個驚人的大消息——嚴僑並沒有死，他還在世，不但在世，並且已經出獄了！
11月11日的早上，姚從吾老師在研究室中，從皮包裡拿出一封信，當面交給了我。信的全文是：
李敖先生：
有個好消息報告你。嚴停雲女士（《智總的燈》的作者）和她丈夫葉明勳先生昨天來看我。他們說，嚴僑已恢復自由了，現在台北私立育英中學教書。他喝酒太多，身體頗受影響。
我盼望這個消息可以給你一點安慰。
胡適1961年10月29日夜
胡適在信封上寫「敬乞姚從吾先生便交李敖先生」字樣，他不把這封信付郵，顯然是怕被國民黨郵政檢查，對我不便。他真是細心的人，細心得不露痕跡，真是老到感人！
嚴僑沒死，太好了，透過華嚴，我得到嚴僑的地址，當天下午我就決定去看看他。看他的感想，我有一封信給胡適，提到重見嚴僑，說：「七年隔世，他真老了，臉上的皺紋、頭上的白髮、口中的酒氣，沒有任何一點能證明那是四十二歲的壯年！」這都是實情。嚴僑那時住在新生北路的陋巷裡，住的是一幢老舊日式平房，我走進玄關的時候，他喊我名字，跑過來，抱住我，流出了眼淚。一切都有了改變，除了他炯炯的眼神和手中的酒瓶外，真的一切都有了改變。他絕口不談在火燒島的事，他只搖頭又搖頭，痛苦地說：「不好受！不好受！你千萬不能到那兒去！」那天正是1961年11月1日，正是我在《文星》雜誌社發表《老年人和棒子》的同一天，我順便帶了一本去，他坐在破舊的籐椅上，仔細看了我的文章，核對了我的幾段譯文，誇獎我翻譯得好。最後他放下了書，嚴肅地對我說：「我真的不要你這樣寫下去，這樣寫下去，你早晚要去那個地方！」
嚴僑回憶他被捕後，十分擔心我也會出事。他判斷我寫給他的信一定同時被搜走了，那封信不滿現實、攻擊國民黨，也許會帶給我麻煩。嚴僑說他前後坐牢，一去五年，他認為他是托嚴復之孫等原因之福，總算判得比別人輕。當時我也這樣想。後來我入獄前後，聽說承辦嚴僑案子的是調查局專員史與為，史與為承辦過無數「匪諜案」，但他自己最後卻被國民黨當成「匪諜」，判過三次死刑，最後處死。臨死前他跪在新店空軍公墓後面的死刑場，向天哀鳴，說：「老先生（指蔣介石），我不能追隨您回大陸了！」如果史與為是真共產黨，他在嚴僑案子上必然會做手腳，為同志開脫，這倒可能是嚴僑被輕判的原因吧？
嚴僑那天又告訴我，他被捕後，嚴師母北上投親所遭遇的人間冷暖。辜振甫他們簡直是把家門關了起來，對嚴師母和三個小孩概不援之以手。嚴師母無法，為了全家活命，只好把老大老二送到孤兒院，把老三寄養給人，（也無異托「孤」！）自己跑去做下女（女傭——編注）——並且是給外國人做下女，中國人是不敢請「匪諜之妻」做下女的！
胡適給我報告嚴僑的信，由姚從吾老師代轉，乃因他們是師生關係，而姚從吾老師正好跟我也是師生關係。1958年，胡適來台，主動安排我和胡適見面的，就是姚從吾老師。歷史系老師雖多，但跟我關係最深的，不是別的老師，而是他。姚從吾老師做過北大歷史系主任。河南大學校長。他拙於口才，講話時先是張開奇厚的嘴唇，下顎亂動，滿口亂牙翻滾，然後發音，我心想物理學上光比聲快，此之謂也。他的聲音中氣十足，道地是河南男低音，配合上他那厚實樸拙的造型，嚴然一副中原老農相。他冬天穿兩種衣服，一件是灰色西裝上衣，衣奇大，是從估衣市場買來的舊貨；一件是陰丹士林長袍，長袍下有白衫褲，白衫褲與短襪子間，永遠露出一截小腿。說來也許奇怪，姚從吾老師在我大二教我《遼金元史》（上學期他給我八十六分，下學期八十八分）；大三教我《史學方法》（上學期九十四分，下學期八十六分）；大四指導我寫「論文」（九十四分），但我總覺得，在學問上，他對我的影響極為有限。尤其大四寫論文，他對我實在沒有什麼指導可說（為了跑圖書館，他倒給我寫了不少名片）。我敢說，他對我的論文——《夫妻同體主義下的宋代婚姻的無效撤銷解消及其效力與手續》，全無研究。他只能給我改一處筆誤而已。我在論文第二章第四節《外姻而尊卑為婚》內，徽宗「政和八年」條下原注說：「政和只七年，洪邁此乃重和元年之誤，是年為一一一八年。」姚從吾老師看了，加注說：「政和共八年短兩月。」「重和改元在戊戌十一月己酉朔（《宋史》卷二一）。」他又拿給趙鐵寒看，趙鐵寒也加了一注，說：「……政和八年戊戌，是年11月1日改元重和，見李極《宋朝事實》卷二及《宋史》徽宗紀，洪（邁）氏不誤。」寫到這裡，就看出姚從吾老師的偉大處。他對我的論文不在行，但他與人為善，不恥下問，拿去給趙鐵寒看。趙鐵寒是師大教授兼辦《大陸雜誌》，回信給他說：「『李君天分很高，能放大找材料，更長於組織與剪裁。剖析問題，如剝筍如抽繭，有探驪得珠之妙。至偶有荒疏之處，青年人常情，不足為玻』我公賞識足以服眾也。」其實，趙鐵寒也未必對我的論文在行，也只是改筆誤而已。事實上，我的成績，在台大已經極為突出，識貨的教授們早已寒我。這由後來考研究所的一幕上可知。考研究所口試，眾教授（姚從吾老師在內）環坐，但沒人「敢」提問題考我，最後主試者文學院長沈剛伯問了一句：「你還要穿長袍嗎？」遂在大家一笑狀態下，考取了。這個故事，使我想起科學奇才歐本海默，歐本海默在哈佛讀書，三年時間就修完四年功課，二十三歲到德國哥丁根大學，三星期就得到博士。他的量子力學論文使主考教授甘拜下風，主考教授在口試後說：「幸虧我趁早開溜，他已經反過來向我發問了！」趙鐵寒說姚從吾老師賞識李敖「足以服眾」，這倒是真的呢！姚從吾老師天資不高，在學問上，雖然與他的際遇和努力不太相稱，但他在學問以外方面，對我倒啟迪頗多、幫助頗多，令我一生感恩難忘。我在1963年1月1日的《文星》第六十三期裡，發表「十三年和十三月」，轟動一時，其中有一段談到他和我的關係：
新店鄉居是我二十六年來最淡泊。最寧靜的日子，這段和自然接近的生活給了我深刻思考的機會，在青山裡、在綠水邊、在吊橋上，我曾細想我該走哪一條路，怎麼走這條路。
多少次，在太陽下山的時候，我坐在姚從吾先生的身邊，望著他那臉上的皺紋與稀疏的自發，看著他編織成功的白首校書的圖畫，我忍不住油然而主的敬意，也忍不住油然而生的茫然。在一位辛勤努力的身教面前，我似乎不該不跟他走那純學院的道路，但是每當我在天黑時鎖上研究室，望著他那遲緩的背影在黑暗裡消失，我竟忍不住要間我自己：「也許有更適合我做的事，『白首下書岑的事業對我還大早，寂寞投閣對我也不合適，我還年輕，我該沖沖看！」
於是，在寒氣襲人的深夜，我走上了碧潭的橋頭，天空是陰沉的，沒有月色，也沒有星光，山邊是一片死寂、一片濃墨，巨大而黑暗的影子好像要壓到我的頭上來，在搖撼不定的吊橋上，我獨立，幻想，更帶給自己不安與疑慮。但是，一種聲音給了我勇敢的啟示，那是橋下的溪水，不停的、穩健的、直朝前方流去、流去，我望著、望著，不知什麼時候，出現在我眼前的溪水已變成稿紙，於是我推開《竊憤錄》，移走《歸潛志》，拿起筆，寫成了投給《文星》的第一篇文字——《老年人和棒子》。
《老年人和棒子》登出的時間是1961年11月1日，那是《文星》第四十九期。我終於把自己投進急湍裡去了。沒投閣先投水，這是自己作弄命運。這一轉向，固然是我性格上不甘於「白首下書笆，另一個原因，也是我困於生計使然。原來助理薪水三月一發，又不准兼差，寅支卯糧，也得支得到糧才成，可是從何支起？何況我在夏天又考上研究所，按任用助理的規定，助理是專任，研究生不能做，所以專任助理的上千元薪水沒有了，只能拿研究生的研究費四百元，四百元對我，顯然無法做研究。當時姚從吾老師打算由楊培桂接替我的助理職，由楊培桂把台北商職的教員職務讓給我，算做私下交換。可是北商那邊一個蘿蔔一個坑，有坑要填校長自己人，不同意楊走李來，所以最後也泡湯了（施珂離台前，想把成功中學的教員職務讓給我，也被校長拒絕，理由同上）。當時我所以考研究所，自信考取後雖然丟了專任助理職務，但因為研究生可兼助教，所以可「失之東隅，收之桑榆」。不料考取後，沈剛伯為了抵制我，突然廢除了研究生兼助教的規定，硬定另聘助教，所聘者王德毅等人，卻都是考不取研究所的。這種措施，當然使我不服氣。後來我棄研究所不念了，沈剛伯見我走了，又恢復研究生可兼助教了。
1961年12月13日，我有長信給姚從吾老師，其中說：長期會的本意在安定學人生活，在長期經援的安撫下，我這個邪學人」也分到一千元（配濟、房子、圖書費、車馬費兼而有之）。這個數目，僅夠維持一個學生的最低的生活，而不是一個「學人」的最低生活。
一個學人的最低生活標準是一間安靜的小房（不是十人一間的宿舍），深夜可看書（不是在宿舍偷點蠟燭），每月可以買幾百元的書，看兩場電影，吃一次老爺飯店（雖然我從來沒去過）。……我對生活標準看法是，一個敏感的青年人，他的精神已經痛苦大多，我們沒有理由再要求他在肉體上、生活上，再吃更多的苦；沒有理由說他租一間小房，逃開城市和俗人的喧囂，每月花光一萬個一毛錢是奢侈！
五年的宿舍生活，一年的軍中生活，使我深深感覺到：群眾是獨立思考與做學問的敵人。……沒有人相信我穿的衣服沒有一件不是老子的餘蔭，沒有人相信我要籌還大學時代的零星舊債，沒有人知道我為買書而存下半年吃早飯的錢。
我想起《車軒筆錄》中的那個故事。范仲淹奇怪那個孫秀才為什麼年輕有為卻「汲汲於道路」，當他知道孫秀才志在「日得百錢，則甘旨足矣」的時候，他決定做此人「日可得三千」，為了使其人能「安於為學」。十五年後聽到孫秀才變成一代大儒孫明復了，他忍不住感慨說：「貧之為累大矣，倘索米至老，則才如明復，猶將汩沒而不見也！」
也許我真該後悔我念這個研究所，每月四百元公費。能專心研究什麼？如果為生活不得已去「汲汲於道路」，把青春的興趣浪費在穿衣吃飯上，那倒不如乾脆去近史所或「國史館」來得好！（我不覺得我不夠資格，至少「成績單」不如我的同班同學都在那裡受著「高酬」。）因為那些地方至少把我的學力、興趣與謀生打成一片，學問即在飯碗中，飯碗即在學問中，不必靠偷改作文或亂寫稿子來賺外快。
我並不是計劃告別學問，可是我知道學問對於我，目前簡直是一件奢侈品，做學問需要大量的安定與氣質，至少對我這種「內多欲而外好學問」的人是如此。顧翊群是安定的代表，蕭啟慶是氣質的化身，而我卻什麼也不是。基於這種自覺，我覺得我不能再戀棧了，我覺得我不配做您的助手，您的研究室裡也不該收容這麼一個文化浪人。……
姚從吾老師收信後，不但寫信給我，「提出一千元，送供需用」，並且一天寫了三封信給蕭啟慶，其中說：李敖怕是很苦了。……他昨天又寫一長信給我，很引起我的同情。但我已把款備好了，預備今天（禮拜六有課）給他，他又沒有來，只有請您多跑一趟了。我很抱歉的是：1．兼任助理遭到意外的挫折。2．北商分校教書，也須等明年一月內或二月初方可確定。3．李兄個性強，又不隨便接受他人的幫助，您又不在，無人勸解。4．我在北平時頗有辦法。現在，往往自己陷於困境，一籌莫展。奈何！這一千塊錢，請他收下，以供急用。
……
蕭啟慶那時正在北投復興崗當兵，他收到信後，在17日到21日間，又給了我三封信，最後一封說：昨日去台大訪你，結果聽說你已好幾天沒去了，結果遇著姚老，他又要我去新店「勸」你，我雖然答應了他，但因公路局不幫忙，等了半小時車都不停，一氣之下，乃逕自凱歸復興崗了，若遇老頭，就說我去過了。
……星期日早晨我去拜訪你，能否在府稍候？
陶老三來一信，也附在信裡奉上。
蕭啟慶信中提到的「陶老三」，就是陶晉生。陶晉生是陶希聖的兒子，在歷史系比我高三班，他和我一起給姚從吾老師做助理，後來留學美國。陶晉生能當上助理，固然由於他本人的程度不錯，但是陶希聖過去在北大教書，又是北大畢業生，和姚從吾老師有交情，也有以致之。這時姚從吾老師見我生計困難，認為陶希聖欠他的情，頗想把我介紹到陶希聖主持的「中華民國開國五十年文獻編纂委員會」，暫時餬口。他把這意思告訴吳相湘老師，吳相湘老師極為贊成。因為他一直想拉我搞近代現代史，由於姚從吾老師是他的老師，擋在中間拉我搞中古史，他就一直不便多說。這回是姚從吾老師的意思，他自然樂為奔走。他跑去找陶希聖，陶希聖立刻表示歡迎李敖去。不料姚從吾、吳相湘兩位老師興高采烈地告訴了我，我卻面有難色。我表示陶希聖是漢奸，又是國民黨中的紅人，我實在不願意和他接近。吳相湘老師說：文獻會並非陶希聖一個人的，羅家倫也是主持人之一，並且你去只是幫忙編民國開國時史料，是以整理辛亥革命史為主，可以發揚先烈們的幽光潛德，跟陶希聖的身份有什麼相干？國民黨史料不開放，你去可以趁機看到一些史料，「不入虎穴，焉得虎子」，你還是去吧！姚從吾老師也勸我不妨暫時去，他說他和胡先生（胡適）也談過，胡先生說不妨去。在兩位老師的勸說下，我說既然如此，我就暫時去混碗飯吧！就這樣的，我就上了「賊船」，雖然最後因為不能「從賊」而被開革，但回首之餘，仍不無悔恨。悔恨我實在不該上船。去文獻會工作是我結束新店山居的最大原因，在我到文獻會後兩個月，我便搬回了台北。