1932年7月，胡蘭成南下廣西。
此行是因表哥吳雪帆同學崔真吾的關係。崔真吾是胡蘭成中學時期所景仰的前進青年。崔真吾兩年前到廣西任教，積極參與廣西政治社會改革，建立了廣泛的社會關係。上年，胡蘭成就欲往廣西，為此從蕭山湘湖師範辭了職，只因年初上海「一·二八」中日戰事，海路不通，其間又是妻子玉鳳從病到亡、處理喪事等等，才耽擱下來。
行前，胡蘭成把俞家給他的竹園賣了作盤纏，賣得一百二十元，他給家裡留了三十元，自帶九十元上路。妻子死了，田產賣了，幼兒寡母留在身後，他幾乎是破釜沉舟地奔自己前途而去。
除崔真吾外，與胡蘭成同行的還有陳海帆和馬孝安。陳海帆是胡蘭成蕙蘭中學同學，馬孝安是吳雪帆中學同學，也是他在蕭山湘湖師範教書的同事，陳、馬兩人都是紹興城裡人，玉鳳病重，他向義母處借錢不成，發氣走了十多里地，就是想到紹興找他們兩人借錢。他們出身於有錢人家，又帶有新文學青年習氣，在上海去香港的海船上談笑風生。胡蘭成新近喪妻，南行似背水一戰，一路上鮮言寡笑，與他們無甚可說，常常一人步至甲板上看大海。崔真吾仍是前進青年氣派，對胡蘭成新近喪妻，竟向他慶賀，說他從舊式婚姻中得到了解放，弄得他大怒，差一點沒有發作。
船到香港，一行人登陸上岸，經廣東陸路走，轉到了廣西的梧州。崔真吾介紹他們去任教的是南寧廣西第一中學，可在梧州聽到消息，廣西教育廳長李任仁提出的一中校長人選，在省府會議上沒有通過。原來經崔真吾介紹，李任仁已同意由一中聘請胡蘭成他們三人，現在一中校長已經易人，原來的聘請還算不算數？三人還去不去南寧呢？四人討論下來，崔真吾的意見，既然到了廣西還是去南寧，請李廳長再另外設法。陳、馬兩人的口氣很大，齊聲道，此行原為南寧有朋友山水之樂，若為一百二十元月薪哪裡去不得，到那裡再說，合則留不合則去。馬孝安說得更是慷慨：「只是蘭成的情形不同，此去但凡有個機會，我和海帆就讓給蘭成。」胡蘭成無法接口，自始至終沒有說話。
到了南寧，崔真吾帶他們一同去見了李任仁。李說他們到得略晚了幾天，前兩天各中學已經開學，三人又都是文史教員，臨時要安插有困難，待過幾天再想辦法。崔真吾其時在廣西國民黨黨部及第四集團軍總司令部政訓處做事，住在有「白屋」之稱的一幢洋房內，三人就一同住到了那裡。
李任仁確是負責，第三天就叫崔真吾來說，一中有了個空缺，問三人中誰去？胡蘭成沒做聲，他知道陳海帆想去但不好意思開口，馬孝安卻一點不客氣，逕直對崔說：「我是下午就搬行李進去呢？還是先去見了校長，也順帶看看教員宿舍後再說？一中的房間若好，我住校亦可以的。」他就這樣自說自話先去了。過了一星期，李任仁又叫崔真吾來說，桂林廣西三中有個空缺，問他們兩人誰去？胡蘭成仍然不言語，陳海帆就開始訴說，他出來時家裡已相當為難，他需要職業幫助維持，而桂林山水也是他一直嚮往一遊的。於是，第二天早晨，胡蘭成和崔真吾一起將他送上了去桂林的汽車。
這樣，就剩下了胡蘭成一人，仍住在白屋。
最需要職業的沒有職業，講究禮讓的卻落得個無處可去，還不說陳海帆、馬孝安兩人前面說的慷慨大話，胡蘭成是既傷心又氣悶，再加上初來南方不服水土，就病倒了。病來得急，他無意也無閒錢延醫看病，只獨自躺在床榻上，不時發高熱講胡話，清醒時身體不得動，仰面看著天花板，心裡只有一個念頭，等病好了，就去江西參加紅軍！
假如以後真沒有教員空缺，假如他真的前往江西，他的家庭背景，他的小知識分子身份，他二十多年始終在貧困邊緣的掙扎，投入紅軍不能說不合適。他以後的人生將會怎樣展開，真要費人猜解。
胡蘭成在床上一病二十日，病好起床，就接到了李廳長的名片，介紹他去廣西一中，這樣他就沒去江西，而是留在了廣西，進一中做起了中學教師。
一中教員中多是廣東人，他們不像江浙讀書人那般文氣，平時互相之間大說大笑，呼朋引類吃東西、開玩笑。星期一在大禮堂開紀念周，學生在台下，校長教員坐台上，教員中忽有七八人一齊頭戴紅頂子瓜皮帽，坐在那裡不苟言笑，看上去煞是滑稽。這些教員在宿舍裡常常追逐為戲，有時已打上課鐘，教員房裡還在打鬥取鬧，一個被撳倒在地，上面的往下面的背上擱一個板凳，再放上面盆茶壺茶杯墨水瓶等等，面盆裡還滿上水，然後上面的就管自去上課了。地上的這一個翻身而起，豁啷啷把面盆茶壺茶杯都打翻，卻是一點不驚，拍拍衣服，同樣神色泰然去上課了。對這一切，學生不以為意，胡蘭成也喜歡，很快即與這些同事玩在一塊，往往看了會書，便到同事房裡去撩撥：「我們來打一架好麼？」對方也會當即放下手頭的事情，回道：「好呀，不打架還是人麼！」於是就開打。如此日子，過的倒也是有聲有色。
同事中的那些國民黨員以及一些自命風雅之士，胡蘭成卻合不攏，對他們敬而遠之，很少來往。學校的潘姓訓育主任，嘴邊總掛著白崇禧，常念叨白副總司令的飲食起居如何如何，他很是討厭。不久，就出了件事。一天晚上，一中與女中教師在國民黨省黨部聯歡聚餐，這位潘主任坐在他旁邊，又開始講說白副總司令如何如何，胡蘭成此時已喝得幾分醉，接口就堵潘：「你們廣西人真小氣，我家鄉附近出了個蔣介石，我都無所謂。」潘一怔，卻仍含笑發問：「那麼你不佩服白副總司令？」這句話問得陰毒，胡蘭成更為生氣，於是借酒醉大聲道：「他也不過是白崇禧罷了，而我自是胡蘭成。」潘仍不死心，還繼續拿話逗引他，他索性大怒道：「你是想叫我說出反對白崇禧，你聽著，我就叫一聲打倒白崇禧！」這一下，席上馬上亂了，幸好，同席上有個女中的體育教員，平時待他很好，他猜測她大約是共產黨，此時見他闖禍，她立刻就領頭叫大家一起唱歌來掩蓋，歌一唱完，他就被人用汽車送回宿舍。
第二日下午酒醒，他想起昨晚的事，心裡頗不自在，星期日下午學校空蕩蕩，他就走到馬孝安宿舍裡。馬見了胡蘭成，臉色十分難看，對他發氣說道：「真吾介紹你我來此地教書，你卻闖下這樣大禍，不但要連累於我，而且你也對不起真吾。」胡蘭成原已在後悔自己昨晚的孟浪，見他這樣說，心裡卻是不服，對馬如此膽小怕事更是瞧不上，回嘴頂他道：「對真吾我此刻沒有適當的話可說，但我不論怎樣，一定自己負責，決不會連累牽扯到你的。」馬仍在兀自怨恨：「你還不牽累我？你使我只可離開廣西了，總不能為戀飯碗把命也送掉。」以後崔真吾見到他，倒也沒怎樣責備，儘管對他的酒醉胡話很不以為然。這次闖禍幸得平安地過去了。不過，他內心卻是深自懊悔，此後多年再也不曾喝醉過。
奇怪的是，第二學期，一中留下了胡蘭成，馬孝安反沒有得到續聘，只得回紹興老家了。
胡蘭成是一年後離開一中的，不為其他，卻為的是近乎笑話的他的「行為不檢，非禮女同事」。
一中有個女教師李文源，是廣東軍閥李揚敬的堂妹，北京師範大學畢業，參加了共產黨，以前在上海從事地下活動時曾幾番被捕，都是由李揚敬保釋的，之後就避到廣西。她教初中國文，和胡蘭成教的是同樣的課，遇有疑難常來討教他，兩人就此接近，常來常往，有時晚飯後兩人一起去校園外散步談天，她還唱《國際歌》給他聽。有個男教員賀希明看上了李，追求李卻沒什麼進展，賀猜疑是因為李看上了胡蘭成，其實胡蘭成並不存心，他和李文源之間說不上有意思。有一天，賀希明和胡蘭成在一起，賀用話試探胡蘭成，又激他打賭，是否敢去和李文源親個嘴。胡蘭成明知此事不妙，可他的拗著來的蕩子蠻勁又上來了，偏偏就接受這一挑戰，他立刻起身走到李的宿舍。李文源剛洗過澡，正一人獨坐，見他進來就起身招呼，他不答一言，抱著李就親了個嘴，撒開手再返回。本來，胡蘭成如此舉動，李儘管吃驚，不見得會怎樣，可以後知道胡蘭成此舉只是為和他人打賭，她這才大怒，告到了校長那裡。校長是個開通人物，只是笑笑了事。可此事已張揚開，弄得校園內人人皆知，那位潘訓育主任藉機正好做文章，女教師中許多人也憎惡胡蘭成的大膽無禮。結果，學期結束，胡蘭成與李文源兩人同被解聘。
胡蘭成轉到廣西西南偏隅的百色第五中學教書。臨行前一日，他正在房裡收拾行李，忽然李文源進來，說要與他一起去百色。他問她去做什麼，那裡又沒聘她，她只是要跟他去。他當下一呆，李是有錢人家小姐，不知兩人是否能一起生活，生活又是否能夠長久？
第二天，胡蘭成邀請古泳今到西江上划船，商量此事。古也是廣東人，同事中要算他夫婦待胡蘭成最好。他一提起此事，古馬上就說：「你續娶應該，但李文源不宜於家室。」胡蘭成回學校就謝絕了李文源，所持理由就是古泳今說的，她不宜於家室。以後胡蘭成到百色，李文源去了香港，還幾次寫信說要來。抗戰第二年，胡蘭成在香港《南華日報》，聽人說李文源已嫁了一位師長。另外，與此事有關的賀希明，之後去北方參加了革命。胡蘭成說賀希明在一中時就是共產黨，那是不准的，賀聖明是去共產黨蘇北根據地後才加入共產黨的，先後擔任鹽城縣縣長和縣立中學校長、蘇北鹽阜區行署副主任。解放後，賀聖明回南方工作，先任廣東省副省長，五十年代後期回廣西（賀是廣西桂林人）任過區黨委書記處書記和自治區副主席等高級職務。
1933年下半學期，胡蘭成到百色廣西第五中學任教一年。
在百色，胡蘭成續娶成家，妻子全慧文。按他自己所說，自己不要戀愛，不要英雄美人，只是要有個老婆與平常人一樣居家過日子，於是由同事介紹，一見面就說定。這位「百色妻子」在胡蘭成回憶中最無聲無色，雖然她同樣為胡蘭成生兒育女，頁後又跟胡蘭成北歸，到上海、到香港後再到上海，卻是他談得最少的，他參加汪偽集團發跡未久，全慧文就從他生活中悄悄消失了。
百色一年後，胡蘭成又轉到了柳州，在廣西四中教了兩年書，其間一度還到過桂林。他在廣西前後五年，轉了三四個地方，轉來轉去都是在中學教書。馬孝安先回，陳海帆不久也離開桂林回北，南行同來三人只剩他一人在廣西。他卻不感覺寂寞孤單，他在做自己的事，在閉門苦讀，這是他自中學畢業後真正開始讀書寫作的第一個時期，也是他一生中最為集中、最為勤奮刻苦的讀書研究期，廣西五年研讀，可說是奠定了他以後文章學問的基礎。