廣西一中有一位教初中國文的年輕女教師，是年級主任，名叫李文源，畢業於北京師範大學，是廣東軍閥李揚敬的堂妹。她在上海時加入了共產黨，連續幾次被逮捕，幸虧有李揚敬的保釋才得以生還，後來避難來到了廣西，到一中來教書。李文源性格外向，活潑大方，平時遇到疑難問題經常向教文史的胡蘭成請教。有的時候吃過晚飯後天色尚早，就常和胡蘭成等人一起出去散步。
當時在一中有一位男教師名叫賀希明，也是共產黨員，一直暗戀著李文源，卻一直求之不得。看到胡蘭成和李文源挺親密的，就懷疑李文源心中有了胡蘭成，但是又不能確定，於是就藉著一次胡蘭成和其他幾位同事在他房裡玩得的時候拿話來試探他。胡蘭成當然不高興了，於是說道：「那李文源也不過和千萬人一樣，是個女人罷了，有什麼神秘複雜的。」這自然不是賀希明想要的答案，於是就又拿話來激胡蘭成，問胡蘭成敢不敢打賭和李文源親上一個。胡蘭成明知是激將法，也知道賀希明是想陷害他，但是，這時他的執拗勁又上來了，於是就故意要做給眾人看，當即起身到女生宿舍，逕直走進李文源的房間。當時已經快要打鍾吃晚飯了，李文源剛洗過澡，正一個人獨自坐在那裡，看到胡蘭成進來了，趕緊站起來打招呼。胡蘭成卻一語不發，逕直走上前抱住她就親了一下，然後撒手就走。
李文源哪裡遇到過這種事情，更不明白胡蘭成為什麼要這樣做，當時就怔住了，一動不動的站在那裡愣了半天。如果李文源不知道胡蘭成為什麼親她，倒也沒有什麼事了，但是那賀希明也不是個省油的燈，他偏要煽風點火，於是就對李文源說胡蘭成是因為打賭才親她。李文源勃然大怒，立刻去告訴了校長。不料校長劉九思只是笑了笑，卻並未批評胡蘭成，大概他也覺得這只是年輕人之間的玩鬧罷了，不能較真。
但是畢竟人言可畏。賀希明自然不會放過這個攪壞兩人關係的大好機會，於是就把事情的原委說得滿學校盡人皆知。那個訓育主任潘某本來就對胡蘭成不滿，這次終於找到了機會豈能放過他？還有一個叫劉淑昭的女人更是對胡蘭成的無禮行為深惡痛絕。這樣一來，這件事情在學校裡鬧得沸沸揚揚。李文源更是對胡蘭成的非禮感到氣憤，因為這使她非常難堪，現在又使她在學校裡抬不起頭，從此不再理他。而胡蘭成卻非常執拗地認為是李文源把這事告訴了校長，這是沒有志氣的表現，心裡對她也非常氣惱。於是兩個人互相氣來氣去，變得形同路人，見了面更是避而遠之，像見了瘟神似的，話自然是不會再說了。
那學期結束的時候，胡蘭成被學校解聘了，李文源也被學校解聘了，這也是情理之中的事情，因為輿論的壓力實在是太大了。胡蘭成被解聘之後收到了百色第五中學的聘書，算是沒有失業，只不過是換了個地方換了個環境而已，因此倒也沒有感覺到煩惱。
在離開一中的前一天晚上，胡蘭成正在房間收拾行李，李文源忽然進來了，說要和他一起去百色。胡蘭成感到非常吃驚，問道：「你去那裡做什麼？那裡又不聘你。」李文源說道：「我只是跟你去。」胡蘭成立刻被驚待了，頓時無言以對。此時再細看她，只見她雖然沒有打扮，卻自有南方女子的綽約風姿，也很漂亮。心裡不由地一動，但也不敢草率，於是推托說這件事情最好還是認真考慮為好。第二天，胡蘭成邀請了一個關係比較好的同事古泳今到西江上盪舟，和他商量這件事情。古泳今大概早就知道他會就此事發問，於是當即回答：「你續娶應該，但李文源不宜於家室。」
胡蘭成茅塞頓開，回去直接對李文源說，你不宜於家室。不料李文源卻一心跟定了他。直到後來胡蘭成去了百色，已經去了香港的李文源還幾次三番地寫信說要來找他。胡蘭成那年已經28歲了，有一種非常現實的想法，就是「不要戀愛，不要英雄美人，惟老婆不論好歹總得有一個」，於是就在同事的介紹下認識了一個名叫全慧文的女子，並且一見面就確定了關係，隨即就結了婚。這在李文源看來，好像胡蘭成是為了讓她死心才這麼匆匆新娶的。所以在傷心之餘，勉強嫁給了一位師長。
後來胡蘭成又從百色的第五中轉到了柳州四中教了兩年的書，在此期間他的母親吳菊花因病去世，常以孝子自詡的胡蘭成竟然沒有回去奔喪！這不知道該算是他的怎樣一副嘴臉！在這段時間裡，胡蘭成除了教書授課之外，對馬克思主義產生了濃厚的興趣，花了相當多的時間去進行研究，連政治學和經濟學都有所涉獵。雖然並沒有什麼成果面世，但是對於政治和經濟總算是有了一些認識和瞭解，這對於他以後參與政治也起到了一些作用。
胡蘭成在這個階段雖然地位有些低微，卻是個不甘寂寞的人，他參與政治的心此時此刻已經蠢蠢欲動了。雖然身在學校，但是，他卻不是只是埋頭教書，而是在研讀馬克思著作的同時與現實結合起來進行揣摩，對中國的局勢非常關心，有關這一點他在百色時所作的詩可以為證：
古道斜陽老婦耕，山城年少正點兵。西江不比瀟湘水，援瑟偏多殺伐聲。
1936年前後的中華大地，形勢動盪不安，當時正處於抗日戰爭即將爆發的時刻，那個階段也是中國社會最黑暗、最壓抑階段，日本人虎視眈眈，整個中國籠罩在山雨欲來風滿樓的氣氛之中，日本人的氣勢咄咄逼人，中國人民此時也正在醞釀著絕地反擊的抗日情緒；同時國內各派軍閥勢力的鬥爭波譎雲詭、錯綜複雜，主戰派和主和派勢力的爭鬥一直沒有間斷，而矛盾激化的結果就是1936年底「西安事變」的爆發。
而當時的廣西頭號軍閥、號稱「小諸葛」的白崇禧更是用志用謀、大顯身手，他和共產黨鬥勇，和蔣介石鬥智，顯示出高超的政治才能。經過精心的策劃，白崇禧導演了「兩廣事變」的爆發。閏二月，他聯合廣東軍閥陳濟棠、同城軍閥李宗仁以北上抗日為名發表通電，意在出兵反蔣奪權。為了給這種舉措造勢，白崇禧手下的第七軍軍長廖磊既是他的廣西老鄉又是保定軍校的同學，在崔真吾的介紹下，請胡蘭成過來幫助辦《柳州日報》。胡蘭成於是在報上高談闊論，說什麼「發動對日抗戰，必須與民間起兵開創新朝的氣運結合，不可被利用為地方軍人對中央相爭相妥協的手段」等等。人家本來是讓他胡蘭成當吹鼓手吶喊助威的，他倒好，利用人家給他的空間在那大放厥詞高唱反調，這樣一來可就不是造勢了，分明是在拆台了。結果此次事變很快就以陳濟棠丟官去職、李宗仁、白崇禧與蔣介石妥協而宣告平息，騰出手來之後，廣西當權者便反過來著手處理胡蘭成了。
胡蘭成的這次事情可是弄大了，崔真吾也無法搭救他了。他被送交由白崇禧任總指揮的第四集團軍總司令部軍法審判。在絕望之中，胡蘭成想到了直接給白崇禧寫信的辦法，他知道白崇禧非常愛才，給他直接寫信申明事情原委，應該很有希望，於是就在監禁中提筆洋洋灑灑一揮而就。這封信還真的打動了白崇禧，於是下令將他釋放，而且還撥了500元給他作路費，既算是逐客令，也算是禮送出境。
胡蘭成這次被關了33天，這也算是他初次參與政治的嘗試，雖然是吃了一些苦頭，但也嘗到了新鮮的滋味，而且還小露了一手，算是混了個臉熟。
胡蘭成在風光得意的時候是從來不會想到家的，而在失意落迫、飄零淒涼的時候才會想到，這次同樣是如此。雖然母親去世的時候他沒有回去奔喪，但是這並不能阻擋他在落難孤零的時候想到母親。因此，在監禁的最後一天，在憂傷與驚懼之中，這個不孝子夢到了自己的母親。母親對於兒子總是寬容的，想必托夢給他，也是對他的無私的愛。
出獄之後的胡蘭成，帶著妻孩離開了廣西，一路上經過湖南轉漢口，乘船到南京，來到了上海。在上海他停留了幾天，因為見到了古泳今，那個當年在廣西一中時關係不錯的同事，對他說李文源不宜於家室的人。古泳今此時正在《中華日報》工作，當他得知胡蘭成研究過幾年馬克思，對經濟問題也有一些見解，於是就讓他寫稿子試試，胡蘭成答應說先回家看看，有時間就寫，然後就沒有再作停留，一路回到了闊別五年的胡村。他是在1932年玉鳳病逝後離開胡村的，現在已經是1937年3月了。
胡村依然是那陽的凋零冷落。胡蘭成回到家裡的時候，只有已經20歲的侄女青芸一個人在。青芸已經出落成了一個大姑娘，也很懂事，她很熱情地招呼著新來的六嬸和寧生弟弟。寧生是胡蘭成和全慧文的孩子，他們還有一個女兒小芸沒有帶回來，留在廣西全慧文的妹妹那裡。
胡蘭成一邊和青芸說話，一邊習慣性地往灶間裡瞅，自然是想看到母親，雖然他知道母親已經去世了。青芸明白他的心思，但是卻沒點破，也沒遊說什麼。灶間的一瞥之後，胡蘭成的神色黯淡了下來，又問青芸啟兒在哪，青芸笑著回答：「在學堂裡，我就去叫他。」
胡蘭成趕緊起身與青芸一起去橋下的小學裡看兒子。胡啟那時已經9歲，他和鄰居家的小孩並排坐在一張書桌上，看見姐姐過來並沒有作聲。青芸把他叫過來，讓他喊胡蘭成爹爹，但是他卻沒叫，因為嘴生。學堂裡的先生一邊和胡蘭成打招呼，一邊對胡啟說：「阿啟，你爹爹回來了。」他還是不開口。於是青芸把胡啟拖到了胡蘭成跟前，對他說：「阿啟你領路，和你爹爹去下沿山。」胡啟這才走在前頭領路。
下沿山有玉鳳的墳在那裡，幼女棣雲早年已經夭折了，也和母親葬在了一起。胡蘭成來到墳前躬身行禮後，又站在那裡看了看，沉思了片刻，卻沒有一點感慨想要抒發。他就又走過去，用手撫摸著墓門石，叫著玉鳳的名字，依然沒有任何的感慨。
第二天上午，胡蘭成又和青芸來到母親吳菊花的墳頭。一路上，青芸都一直在和他講著給玉鳳和母親做墳的經過。他母親是與父親合葬的，合葬後的墳做得非常好，正對墳的方向很開闊；左下的位有個涼亭，站在裡面可以看得見胡村的溪橋、人家、農田；右邊是一片茶山桑地。墳旁還有一個個竹園，雖然只有疏疏的百餘根竿竹，但看著也很是襯著這裡的安然。
胡蘭成來到母親的墓前，行跪拜禮，青芸在他後面也隨著跪拜。跪拜後，胡蘭成又感謝青芸這幾年在家照顧母親和兒女的辛苦，青芸很懂事地說：「有六叔寄錢回來，我只是做做事情，沒什麼的。」他就又問青芸母親臨終時有沒有什麼遺言，青芸說奶奶沒有說什麼。母親死的時候兒子不在身邊，又有什麼遺言好留呢？
胡蘭成看著母親的墓，起身把祭壇石縫裡長出來的草拔掉，青芸在撿拾了一下墳前樵夫散落的柴禾。做完這些，胡蘭成想起自己童年時隨家人上墳的情景，惆悵不已。他在後來的《今生今世》裡以略帶憂傷的筆觸記述道：
劉邦說，遊子悲故鄉。我現在回到胡村，見了青芸，且到了母親與玉鳳墳頭，只覺自己仍是昔年的蕊生，有發現自性本來的淒涼與歡喜。做人亦要有這種反省，曾子說「吾日三省吾身」，我鄉下的俗語「做人要辨辨滋味」。我家實在要算得貧苦，後來幾年我教書寄錢回家，亦不過按月二三十元，我母親卻覺有這樣的好兒子，就滿心歡喜，且村裡人也都敬重她。玉鳳當年及青芸亦都是這樣的心思。西洋沒有以苦為味的，惟中國人苦是五味之一，最苦黃連，黃連清心火，苦瓜好吃，亦是取它這點苦味的清正。但如今只有青芸是我的知己了。
胡蘭成的這番對「苦」的自解，倒也傳神地把他成年以後一直顛沛流離的生活狀況表述了出來。他自妻子玉鳳死後，便要「如天地不仁」了，這說明他認為自己以前是充滿著感情在生活的，他把他自己生活中的拙行看作是質樸，把不善變通看作是率真，自負於事而又自卑於人。惡行未必就是由惡念產生，而是一種荒唐的自解和解世的想法，這個想法，大概從這個時候就慢慢開始了。而從小才情過人的張愛玲，固然也自負；少年受家變影響，後來也自私，但是張愛玲畢竟讀懂了自己，她成年後曾對於小時候無意對父親姨太太說的一句「你比母親好」而耿耿於懷，也為一次無意地為後母附和而後悔。張愛玲讀懂了自己，但終究沒讀懂胡蘭成；胡蘭成讀懂了張愛玲，卻從頭到尾也沒讀懂過自己。