胡蘭成祖先並非嵊縣本地人。
胡家可追溯的祖先胡家太公，明朝末年間販牛路過此地，不慎失火將附近田里的成熟禾稻全部燒光，無奈只得以牛作賠。本錢既無，無處可去，這位胡家太公就留下來租田地種，不料來年風調雨順，作物大獲豐收，由這先禍後福的轉折，他就立意在此安家落戶，由此成了嵊縣下北鄉胡氏家族的開創者。經過三百年的繁衍生息，到胡蘭成出生時，胡村[5]已是個有一百五十戶人家的大村莊。
胡村人都姓胡，胡家太公是一百五十戶人家的共同祖先，胡家非土生土長本地人，在胡村地界上都存著遺跡。胡村依山傍水，人家四散開分住於幾處，分別叫做倪家山、陸家奧、荷花塘、大橋頭，前兩處顯然是以前倪姓、陸姓人家的居處，只是胡氏宗族興旺後才移居於其他地方的。
胡家為外鄉人無疑，可外鄉究竟在何處？至胡蘭成父親這一輩已茫無所知，胡村人只能往上胡亂攀附：「胡姓上代有胡瑗是經師，故堂名用五峰堂，猛將明朝有胡大海，但我不喜他的名字。我喜歡宋朝胡銓，金人以千金購求他彈劾秦檜的奏疏，現在祠堂裡有一塊匾額『奏議千金』，即是說的他。此外我愛古樂府羽林郎裡的胡姬，但是胡姬不姓胡。」[6]雖是荒唐，卻是傳統，只不過歷史上，胡村人再也找不到其他更顯赫的胡姓人物了。
胡村人真正的發達興旺，是在胡蘭成祖父這一輩，洪秀全太平軍起事前後。其時，西方洋人剛開始與中國通商，沿海一帶的上海、寧波成為內外交通的大商埠，胡村人的興旺與中外貿易直接相關，當年西洋和日本需要的絲綢、茶葉和可做油漆、油墨、醫藥原料的桐油，胡村都有出產，胡村人得地利之便也開風氣之先，迅速將營生融入進了對外貿易的渠道。那時候，胡村家家種茶養蠶，許多人家自設油車打桐油，出產經過商家商號的收集轉手，輸出外洋。整個胡村白牆黑瓦，院落齊整，就是那時植下的根基。
胡蘭成祖父胡載元，當年稱得上村中大戶，家裡開茶機，雇眾多員工加工茶葉，每日賬房先生和老師傅的工錢、伙食錢要用到上千文，其時豬肉價只不過一斤二十文。胡村大石橋一丈二尺寬、五丈長，也是胡載元當年帶頭捐款建造的。
可惜好年景只維持了十餘年，隨著絲茶桐油的外銷受阻，胡村人主要收入來源減少，逐漸衰敗了下來。到胡蘭成出生時，胡村有二三十畝地的小地主只剩了兩三家，自己有地五六畝、租種七八畝再兼做點生意的也不過兩三家，這就算得上殷實之戶了，其餘人家都是田畝不足、飯米不夠的貧苦人家，須靠做短工、販私鹽等才得以維生。逢到節慶和家中婚喪事，多有借債典當的事發生。胡蘭成家也不例外，衰敗了下來，到胡蘭成父親手裡更是破落不堪，胡蘭成幼小時，逢過年常見家中來人討債。胡村幾十年即從興旺發達走到衰敗破落，自己家中「富不過三代」，從日用千文到過年被人逼債的經歷，在胡蘭成心中留下了深刻的印痕，他在青年時期研究馬克思主義，最主要動機之一，就是要解開胡村由盛至衰的社會原因。
胡村衰敗的社會原因或許難明，胡家衰敗的家庭原因卻是易解，因為明明白白就在眼前，是胡蘭成的父親胡秀銘。
我祖父去世，父親十八歲當家，家業當即因茶棧倒賬賠光，此後一直只靠春夏收購山頭茶葉，轉賣與他家茶棧，得益可得二百銀元，來維持一家。但他不像是個生意人。有時他還愛到地裡去種作，亦人家一看就知道他不是務農人。他筆下著實文理清順，但他從沒有想到自己或是讀書人。他亦為人管事講事，而不像個鄉紳，他擊鼓領袖群眾，彈三弦吹橫笛裂足開胸，但與大戶人家敗落子弟的品絲弄竹完全兩派。廣西民歌：「讀書不像讀書人，好游不像好遊人，衫袖恁長褲腳短，你有那條高過人。」[7]
一般人寫自己父親短處多有忌諱，筆下留情，可如此父親，胡蘭成亦無法曲意維護。
胡父的為人處世是悖謬的，他不是紈褲子弟，早年家中雖富足，還不足以隨意揮霍；卻不是老實巴交的種田人，心思沒用在農田出產上；他也不像一心奔舉業的讀書人，科舉還未取消前，他從沒有做過嘗試。他知書識禮，教兒子們寫字讀書，為他們講解，卻不是按傳統而是按自己理解的來講。他待人熱情，謙遜有禮，夫妻之間也是相敬如賓，偶爾爭吵以至打架的唯一原因，全為了幾個兒子不成材、不向上學好，做父親的根本不聞不問。胡蘭成中學臨畢業前，與校方發生衝突，被學校開除。如此大事，胡蘭成回到家，父親也只問了問原因，既不責備兒子也不問罪學校，事情就算了結。可在外面，他卻愛管閒事，為人調和糾紛，化解爭執，不是喜歡出風頭充大佬，也不為得利，純是熱心腸。有一次，他出於好心幫人打一樁銀錢官司，打了兩年才贏，錢財上核算無甚進出。這家主婦不滿意了，說是早知如此何必當初，既是如此結局還不如當初就不打了。胡父忙一場，只落了個沒趣。知道事情原委的鄰居人家看不過去，看出胡父的真心實意待人，就此與胡父結交，正巧膝下無兒，以後就認了胡蘭成為義子。
胡父細小處仍是悖謬，他深知農桑辛苦，自己也能下田耕作，採桑飼蠶，更精於制茶選茶，可他均不能全心全意對待，對日常柴米油鹽渾然無心機，家務事平時只由女人做主，自己出外幫人收茶鑒別茶葉，一去半月一月，家中需錢用或有事，胡母還得差人去找。常時在外，倒不是吃喝玩樂，胡父自奉惟謹，平日僅一襲半舊布長衫，足登布鞋，他只是熱心人情交際，可又不善冗談清談，與人對面相坐，出語生澀，忍不住時還要嗆人，但罵人的穢褻語從不出口。家裡狀況日益艱難，他有心卻無意，逢有人請，立刻帶上一班人馬趕去湊熱鬧唱戲，他是紹興大班、蓮花落全會，絲竹琴弦件件拿得起，樂而忘憂。這樣的當家人，家業怎能不壞？家中日常門面勉強可撐持，一旦有事只能典當舉債，有一筆債直到胡蘭成在汪偽政府當官時才了清。
胡父五十八歲死於胃潰瘍，胡蘭成稱之為蕩子病。他這不是諷刺。胡蘭成說胡村人，雖然從興旺轉為敗落，可有過幾十年工商業經歷，胡村人與一意在田上耕耘的農人還是不同，性格上要來得灑脫。這「灑脫」，用在胡父身上很傳神，若再進一步，那就是「蕩子」了。
「蕩子」，在胡蘭成並不是個惡稱，而只是行為灑脫、不羈於常事常情的人，或許無益於治家成業，卻能與人與社會相宜相悅，江山美人總屬情於蕩子。他用「蕩子」比父，也常用以自比，父親是蕩子，他自己也是蕩子，父親是鄉間的蕩子，他是社會時代的蕩子，在社會上浮沉起伏，雖曾風雲一時，最終亡命於海外。父子兩人在性情上是一脈相承的。
胡蘭成母親吳氏，叫什麼名字，胡蘭成不清楚。中國傳統女名不彰，未出嫁時只有父母師長叫，出嫁後則隨丈夫姓氏叫，可做兒子的居然不知道母親名字倒是少見。長期隨祖母生活的侄女青芸知道，曾告訴過他，他仍記不真切，依稀像是叫菊花。吳氏是填房，比丈夫要大一歲。
我母親在家著短襖長褲，但出台門到溪邊浣衣必系裙子，在堂前紡棉花亦系裙子，不但對外客，連族中長輩，堂房叔伯經過台門外進來簷頭坐坐，她亦奉茶敬盡。她從不輕易到鄰家，亦從不道人長短。房族裡或親戚的女眷來，我母親陪坐說話，惟是清嘉，亦令人不厭。
……
母親教我：「小人要坐有坐相，立有立相，走路不可油頭螞拐。」因為她自己就是人相極好的。小時我每跟她去溪邊，去桑園茶山，去傅家山下小舅舅家，還伴她去過浦廟。平時只見她在灶間，樓上樓下及堂前走動，現在卻陌上多少行人，她走路這樣安穩，沒有一點誇張，亦只是人與天地為三才，日月麗於天，江河麗於地，而她的人則在天地間，與世人莫失莫忘，仙齡永昌。她在家裡，是洗出衣裳或飼過蠶，稍有一刻空，就自己泡一碗茶吃吃，我在傍嬉戲，見母親一人坐得這樣端正，室中灑落悠閒，只覺有道之世真是可以垂衣裳而治。[8]
胡蘭成對父親的回憶大略而概要，對母親的回憶卻是細膩而深情，相隔幾十年仍異常清晰。他記得被母親抱在手裡看月亮、看星星，母親指點著月亮星星教他兒歌，唱當地鄉間的小曲俗調。母親教他學念：「月亮婆婆的的拜，拜到明年有世界」，教他念：「世界大，殺只老雄鵝，請請外婆吃，外婆勿要吃，戒櫥角頭抗抗咚，隔壁婆娘偷偷吃咚哉，嘴巴吃得油羅羅，屁股打得阿唷唷。」
胡蘭成小時候笨拙，不似其他小孩口齒伶俐，應答討大人歡喜，他是開口不易，應對也拙訥，與小夥伴玩耍常常吃虧，幼時他的頭長得特別大，頭重腳輕，淘氣打架立腳不穩，倒在地上的總是他。平時自己走路，一跑快也會摔跤，額上腫起瘀青塊，母親總是用燒酒黃梔浸濕了紙給他敷貼。
在家裡，他是個聽話的好孩子。家境艱難，子女又多，母親不會嬌慣，他也不纏母親，反能像家鄉俗話說的「會替大人手腳」。母親縫補衣裳、在堂前納鞋底，他在旁邊一邊嬉戲一邊給母親遞剪刀、穿針線。母親煮飯上灶，他就到後面幫忙燒火。母親去河邊洗衣，他提籃拿著搗衣杵，得得地走在母親前面。天好出太陽，門場前曬穀曬菜，母親叫他照管，他拿著根木棍安安靜靜地坐在門檻上，見有雞來就趕開。稍稍大一點，母親就教他剪桑葉，囑咐他先把桑葉理齊了再剪，若飼烏毛蠶，桑葉要剪得細，烏毛蠶的嘴巴小。母親又叫他到溪邊洗白菜，叮囑要挖開菜葉洗乾淨。
帶他上山採茶，母親叫他仔細，一支采乾淨再採下一支。母親教做事，也是教做人，從日常生活小事瑣事上教，由自己去領悟。母親說：「靠教是教不好的。」意思是指，靠教只能一步一趨，人不能事事教，時時教，還得要自己去體會領悟，推及其他。母親差他到橋頭豆腐店買醬油，三文錢半碗，雙手端著走，他生怕潑翻，眼睛盯緊碗裡，可忍不住一步一蕩，到得家門，已潑翻得所剩無幾。母親趕過來接下，笑罵道：「你要眼睛看路，不可望牢碗裡。」他事情做得不對，母親不責備，只是微微地笑，是寬愛也是鼓勵，可不管做事做得怎樣好，母親卻是從來不誇獎。胡蘭成回顧自己做事不因毀譽而擾亂心境，即由此而來。
胡蘭成年紀小小已懂得家境艱難，體諒母親當家的苦楚。前面有幾個哥哥，他小時候衣服都是穿剩下來的，袖口長到蓋過手指，褲子大到拖及地面，旁邊叔叔家小孩比他大一歲，穿一身印花洋布衫褲，他看在眼裡，卻不羨慕。隔壁人家女兒比他小一歲，家裡開豆腐店，有錢買點心吃，還有父母燒香帶回的玩具，他什麼都沒有，他也不吵鬧。有一天，胡蘭成與小夥伴在橋頭玩耍，到了中午小夥伴都回家吃飯去了，他不回家，他知道家中沒米，他怕回家讓母親為難。他去溪邊摘了幾個蓮蓬，用繩穿起，獨自在大路上甩著玩。直到母親來叫他，說家裡飯已做好他才跟著回家。飯不是米飯，而是留作種子的蠶豆，他和哥哥弟弟用碗盛來吃。母親坐在高腳凳上，帶著歉意的微笑在一旁安詳地看著。
真難為了家無黍米的當家母親，也難為小小胡蘭成的體諒心意，這件事，以後被張愛玲用作素材，移用到了中篇小說《秧歌》中。小說主要人物金根回憶自己兒時：
有一天他知道家裡什麼吃的都沒有了，快到吃午飯的時候，他牽著他妹妹的手，說：「出來玩，金花妹！」金花比他小，一玩就不知道時候。他們在田野裡玩了許久。然後他忽然聽見他母親在那裡叫喚，「金根！金花！還不回來吃飯！」他非常驚異。他們回到家裡，原來她把留著做種子的一點豆子煮了出來。豆子非常好吃。他母親坐在旁邊微笑著，看著他們吃。[9]
胡蘭成的性格中有著「蕩子」父親濃重的影響，胡蘭成做事規範許多則從母親學得，母親不曾溺愛，也談不上慈愛，在胡蘭成看來，父母親身上都有著如天地不仁之性情，但母親的熱情有禮待人，母親的克己，母親的吃苦忍耐，母親的敢於擔當，令胡蘭成感觸至深，予他以後的處事為人留下了深刻的影響。母親一輩子不容易，娘家家境不好，來胡家做填房，來照管這一個時時困頓到家中無糧的大家，養活養大一大群兒子，卻始終志氣不墮。待胡蘭成以後在汪偽政府做官有錢時，母親早已過世。胡蘭成倒沒有「子欲養而親不在」的感歎，雖然母親在父親死後活了十二年。父親死後，兒子們接替撐持起了家庭。先是胡蘭成三哥，三哥死後胡蘭成到廣西教書，每月往家中寄錢。胡母晚年多病，有胡蘭成妻子玉鳳和孫女青芸在病榻前侍奉。他自排自解地安慰自己，至少母親的晚年應該是滿足的。