此外，胡蘭成還是一個沒有親情觀念的人，這在他對父親的情感上體現得淋漓盡致。當胡蘭成長大成人之後，他的心裡基本上裝不下親情，他一味地漂泊闖蕩，在不順利的時候回到胡村散心，繼而再遠離家鄉。有一次，他從外面回到家中時，胡秀銘剛剛去世不久，家裡到處都是父親的遺筆，有的寫在蠶匾上，有的寫在桔槔上，還有紹興戲的抄本……胡蘭成看著這些，心裡竟沒有一絲傷感，甚至連保存的意願都沒有。此外，就連母親的遺照在當時也是由侄女青芸收著的。對於自己這種近乎沒有人性的做法，他自認為，中國人的倫常是一種天性，並不是一種私情，而是他由始至終的信仰，才使得他對於自身作反省。這便是他的冷漠與無情。他並不具備他所謂的由始至終的信仰；而他所標榜的「自身反省」更是滑稽可笑！試想一下，只要稍微有點信仰的人，會置民族大義而不顧嗎？稍微有點自我反省意識的人，會在賣國求榮成為漢奸的時候沾沾自喜嗎？絕對不會。胡蘭成骨子裡所蘊藏的冷漠，是任何一個常人都難以想像的。這種冷漠，致使他成為一個沒有親情、沒有民族大義、恬不知恥的人！
而母親吳菊花在胡蘭成的眼中，則是猶如生母娘娘一樣神聖的女性。當然，也更是有著尋常母親的平易和嚴厲。吳菊花與舊式妻子一樣，非常在意人世間的禮儀。在家的時候可以穿著短襖長褲，但是只要出家門，即使去到溪邊洗衣服她也會換上長裙，就連在堂前紡棉花時也會穿著；不管是家族的長輩，還是外來的客人，或者是叔伯經過家門，進來簷頭稍坐片刻，她也會端出茶水，恭敬有禮。但是，她從不輕易去鄰居家，更不會與人說長道短。所以，在整個家族中也算是受歡迎的一個人。
吳菊花教育胡蘭成也有自己特殊的方式。最初，胡蘭成離家去杭州唸書的時候，吳菊花非常擔心，她一面幫著兒子整理行裝，一面叮囑道：「出門在外，最忌諱理睬世人；要照顧自己的飢餓冷暖，更不要忘記了家中的艱辛。」也許跟吳菊花的教導有關，胡蘭成的確記住了家道的艱難，卻將民族大義拋在了腦後。
在胡蘭成十三四歲的時候，胡村曾發了一次大水。黃色的洪水沖到他家門前，淹沒了半面牆壁，時不時地會傳來牆壁倒塌的聲音。幸虧急流中夾雜了大量的沙石，這才將房屋柱腳埋住，保住了房子。而大路上則是一片汪洋。整個村子的人都披著蓑衣，戴著斗笠搶救被洪浪沖走的桌椅、牛羊。而胡蘭成跟弟弟兩人趴在樓上，聽著外面風雨雷鳴的聲音，他竟然異常興奮起來，並且大聲唱起學堂教給的歌謠。這次事件，極大地惹惱了吳菊花，於是她破口大罵道：「你到底是人還是畜牲？」
吳菊花雖然只是一時生氣，卻罵出了胡蘭成骨子裡一些低劣的個性。那個時候，胡蘭成已經是懂事的年齡了，他當然知道在那種情況下他不應該袖手旁觀，更不應該幸災樂禍，而是幫著大人做一些力所能及的事情，減少洪災帶來的損失。而他不僅沒有這樣做，反而不知好歹地唱起歌謠來！俗話說得好：「三歲看到老。」他的這種表現，完完全全預示著他會在時局動盪不安的抗日年間，投身汪偽政府大談所謂的民間起兵！
雖然過繼給了俞家，但除了寒暑假，胡蘭成大部分時間仍然是待在生父母的家裡。胡蘭成最初並不是很不情願，因為實在想不明白自己怎麼憑空多出了一對爹娘，所以，他剛去俞家的時候，覺得俞家的一切都那麼不順眼。也許是對俞家期望過高的關係。俞家雖是富戶，在他看來卻只有土氣和俗氣。
俞傅村的村民們大都是靠天吃飯的農民，胡蘭成的義父雖然是一個不小的生意人，但是也是務農起家，身上自然充滿了泥土的腥味。家裡雖然僱用了長工，但是他仍然會在做完生意之後，扛著鋤頭下地勞作。俞家是一個地地道道的好人家，胡蘭成的義父為人厚道善良，一點也沒有「為富不仁」的壞習氣。他雖然節約簡樸，但是生性慷慨大方，所以俞家每頓飯必然有酒有肉，到了下午還會做一些小點心吃。
對於胡蘭成而言，和俞家成為干親關係，實屬他人生中一件最大的幸事，因為胡家所缺少的正是俞家所擁有的——錢財。後來，胡蘭成之所以能夠去杭州唸書，全都是依靠俞家的慷慨解囊。因此，胡蘭成與俞家也就越來越親近。每逢寒暑假，他大多數時間是住在俞家的。
這裡不得不提胡蘭成的庶母，她對胡蘭成來說是一個很重要的人物。這位庶母是杭州人，姓施，名春，人們都稱呼她為春姑娘，胡蘭成過繼到俞家的時候，這位庶母剛剛32歲。庶母是屬於《紅樓夢》裡王熙鳳那樣爭強好勝的人物；而胡蘭成自始至終都是軟弱無能的那種，因此他漸漸喜歡、佩服起庶母，庶母做什麼事他都願意跟在身邊。
只要是在俞家，胡蘭成就會像一個跟屁蟲一樣跟著庶母。不論庶母幹什麼，去曬穀場曬穀子也好；在屋簷底下繡花也好；進房間開衣箱取東西也好，他都會跟在身邊。庶母下午做點心給在田地裡的雇工吃，胡蘭成仍然跟在身邊。這些時候，庶母就會講一些子貴尊母的故事給他聽。她經常講的一個故事是：一個叫李三娘的女人受盡他人的欺負，後來她的兒子高中狀元，便衣錦還鄉迎接她。庶母之所以講這個故事，其意圖非常明顯，她希望胡蘭成有朝一日享受榮華富貴了，也能記得孝敬她這位「母親」。
但是，以她那種性格，自己是不會親自說出口的；而幼年的胡蘭成本就有些悶頭悶腦，他雖然心中清楚庶母的用意，卻也不知道說幾句好聽的話討庶母開心。他當然也知道庶母希望他能說點什麼，可是他就是不願意表示。在某種程度上，這也影響了他與庶母之間更加深入地交心。胡蘭成就是那樣，他是屬於能夠坦然接受別人對他的好，他卻很少對別人好的人。因此，後來發生了為妻子看病向庶母借錢而不得的事情。胡蘭成還在自己的一些文章中抱怨過庶母爭強好勝，以至於有些變態的性格；卻從未對自己進行過反思。這正是他自私的一種表現，而正是因為自私——胡蘭成性格中最致命的弱點，導致他最終成了了一個背離民族大義的漢奸！
胡蘭成有著舊式文人的多情性格，這一點在他小的時候就已經初顯端倪。當時胡村附近有個蘆田村，盛產竹木桑茶，是一個極其富裕的地方。那時，蘆田村有一戶姓王的大戶人家，家中有一位名叫杏花的小姐。杏花去杭州讀書的時候，轎子正好經過胡蘭成家門前的大路。一行人在路邊的亭子裡暫作休息時，胡蘭成看見杏花衣著端莊、美麗，心中頓生愛意。從此以後，胡蘭成便在多情的道路上一路狂奔。
當然，幼時的胡蘭成和庶母在一起的日子是簡單快樂的。不知不覺中，胡蘭成寂寞而敏感的少年情懷被庶母的一顰一笑深深牽動，他喜歡上了自己的庶母，這種喜歡並不是兒子對母親的情感，而是對於異性的愛慕。
有一次，胡蘭成從俞家回胡村的路上，胡村祠堂正好有戲班唱戲，這時一個旦角出場了，她的打扮舉止和胡蘭成的庶母像極了。胡蘭成敏感的心立刻被牽動了，他頓時心潮澎湃起來。他沒有看完那場戲，就跑回家偷偷大哭了一場。後來，他去杭州上學的時候，也是從俞家出發的。離開俞家的那一晚，他投宿在一個旅館裡，當他一個人孤單地在昏暗的亮光下鋪被子的時候，他想起了庶母，心裡立刻難受起來。雖說胡蘭成對庶母產生的這種感情，是懷春少男特有的心質，但是總歸超出人之常情。更為可氣的是，他不但不對這種不正常的感情感到懊悔，還反倒有些沾沾自喜。他說：「孟子說過『人少時則慕父母，知好色則慕少艾』，這個「慕」字用的非常好，但我沒有對庶母說起過。為我壞心思是有過，因為我倔強。」他就是那種不知道其醜陋的人！
胡蘭成15歲的時候，他的義父因病逝世了。那時他的庶母剛滿35歲，她身著白色的孝服，在靈前哭的像個淚人一樣；但是，她依然堅強地料理著喪事，同時還與覬覷義父遺產的侄子爭鬥，真可謂是女中豪傑了！
義父「頭七」剛過，胡蘭成便準備去杭州唸書了。走的那天早上，庶母一邊在靈幃裡流淚，一邊與侄子爭鬥，並且還抽空讓胡蘭成來到她的房間，滿臉淚痕地取出一包銀元給他做學費，還跟他說了一些在學校注意的事項，這才接著又忙去了。
除此之外，就連胡蘭成定親時所需的聘金也是由庶母出的，而且她還買下了戴家的一座樓房，以及竹園桑地作為胡蘭成的結婚禮物，這總共用去了五百銀元，這在當時已經是相當大的一筆數目了。但是，胡蘭成敏感地覺得庶母不再像以前那樣對他好了，可惜他並沒有自我反省，反而在心裡怪起庶母，就好像庶母有義務一輩子順著他一樣。而他本人原本就是不知道感恩的人，所以對庶母的怨恨也就越來越深了。事實上，他從未孝敬過義父庶母，他只知道索取從未回報，像他這樣的人真是讓人心寒。
話說回來，胡蘭成上學並不早，13歲時仍在胡村的學堂裡念初中；不過他的成績相當不錯，隨後便考進了紹興第五師範附屬高小。剛進學校那會兒，除了他是鄉下來的以外，其他同學都是城裡人，所以他總是被人欺負。而胡蘭成不敢跟他們爭鬥，他本身就屬於嬌弱那類，漸漸地與同學熟悉之後，他們也就不再欺負他了。
高小畢業，他考進了第五中學。在五中讀書的那段日子，他幾乎遊遍了紹興的大街小巷，也嘗遍了紹興的各種小吃，例如，芝麻醬、油條、各式蒸糕等。
其實胡蘭成在五中只讀了一個學期，後來學生鬧風潮，第二個學期久久無法開課，胡蘭成便回到了胡村，實際上也就是輟學了。
直到後來，表哥吳雪帆帶他去到杭州，考上了蕙蘭中學，這才開始了新的求學生涯。胡蘭成一直在蕙蘭中學讀滿了四年，眼看就要進行最後的畢業考試時，卻因為一件事情被開除了。
事情的經過是這樣的：胡蘭成是學校校刊的英文總編輯，有一期有一篇投稿寫的是一個同學被罷免了青年會幹事一職——因為賬目出現了問題。當時校刊顧問方同源找到胡蘭成說不能登載這篇文章，否則會影響到教會的名譽。胡蘭成不願意聽他的，於是就跟他講道理，結果方同源什麼也沒說，胡蘭成就以為他默認了，於是便把這則新聞登了出來。誰知道他被方同源狠狠地罵了一頓，胡蘭成覺得很不服氣就跟他打了起來，結果把方同源惹怒了，他以辭職來要挾校長開除胡蘭成，最後胡蘭成真的就被開除了。胡蘭成雖然沒有太后悔，但是卻不敢就這樣回到胡村，直到父親胡秀銘得知了此事，寫信叫他回家他才回去的。這之後，他的求學生涯也就結束了。
胡蘭成18歲那年，他的婚事被正式提及。那個時候，他正放暑假，剛從蕙蘭中學回到胡村。一天晚上，一家人吃過晚飯在屋簷底下乘涼，吳菊花便說起了他的婚事問題；而胡蘭成什麼話也沒說，也算是默認了。於是，吳菊花便把女方的情況告訴給了胡蘭成。
女方名叫唐玉鳳，是距離胡村五十里遠的唐溪村一戶普通人家的女兒。她19歲，大胡蘭成一歲。她的父親名叫唐濟仙，人們都稱呼他為三先生。雖然吳菊花和胡秀銘都很滿意女方，但是仍然想要聽聽胡蘭成的看法。