正像所有的大河都有一條透亮純淨的源頭，正像所有的大樹都有一根發達的根系插入廣闊的大地，林徽因這一口靈波湧動的活水也自有她的出處，也惟因為這點既流淌著童年的快樂同時也有憂愁的泉眼，才養育出了今天這樣的一個林徽因。
林徽因，１９０４年６月１０日出生於浙江杭州陸官巷林宅。原名徽音，出自《詩經·大雅·思齊》：「思齊大任，父王之母。思媚周姜，京室之婦。大擬嗣徽音，則百斯男。」後來，為了避免與當時的一位作家林微音相混，自１９３４年起改為林徽因。林徽因祖籍福建閩侯，出身書香門第，官宦之家。祖父林孝詢，光緒１５年（１８８９年）己丑科進士，曾留學日本，歷任浙江海寧、金華、孝豐、仁和、石門各州知縣，能接受西方政治思想，曾參加孫中山領導的革命運動，在同輩中堪稱進步分子。林孝詢曾在杭州設立家塾，分國學、新學兩項，教育家裡的孩子。國學延請林紓主講，新學延請林自水主講，在當地很有影響。祖母游氏，生有子女７人。
父親林長民，１８７６年生於杭州，字宗孟，小的時候在家塾中讀書。１９０６年赴日本留學，不久又回到杭州，在杭州外語學堂學習英文和日文，畢業後再度赴日，專門攻讀政治和法律，３２歲時畢業於早稻田大學。１９１０年，林長民與留日同學劉崇佑創立福州私立政法學校，自任校長。辛亥革命那年，林長民赴上海、南京、北京等地宣傳革命。民國元年，代表福建省參加南京臨時參議院。不久，臨時參議院遷往北京，他被推為秘書長。民國６年，段祺瑞重新掌握政權後，林長民出任司法總長。此外，林長民擅詩文，工書法，在當時的文人圈子裡名氣很大。
林徽因兩歲時，父親林長民遊學日本，尚是幼童的她便跟著祖父生活在杭州的大家庭裡。相伴的是思想開明、滿腹經綸的翰林祖父，和擅長書法、舊學修養頗深的才女姑姑。如此可愛的女兒，自然也成了父親林長民的掌上明珠。
林徽因的天資聰慧從那時開始表露。５歲時，即１９０９年，林家遷居杭州蔡宮巷一座大宅院內，林徽因隨祖父母、姑母們居住在這裡。在眾姐妹中，她是最聰明的一個，也是最清秀的一個，看似不經心地聽講，卻總能過目不忘，出口成章；７歲時，承擔起全家和在外父親的通信事務，她是最讓人放心的一個，信來信往，常常是言辭生動、應答得體；９歲時，開始教堂弟認字，並對家中的藏書、書畫發生興趣。她聰明伶俐、活潑可愛，深受家裡人喜愛，尤其是祖父，常給她講故事，帶她做遊戲。
８歲那年，祖父把家由杭州遷到上海，住在虹口區金益裡。林徽因與表姐妹們到附近的愛國小學讀書，上二年級，平時侍奉祖父。１９１６年，林徽因１２歲，林長民在北洋政府任職。全家遂由上海遷到北京，住在後王公廠。林徽因和表姐妹們一起入英國教會辦的培華女子中學讀書，開始接觸西方文化，並學習英語。１４歲時，她獨自一人編成一本家藏字畫目錄。
年齡稍長，林徽因也越發清秀美麗，並且越來越懂事。她的聰明、有主見，頗能料理家務讓父親感到自豪而又欣慰，於是父親也特別地對這位乖女兒多加體貼。而且遇到一些事情時還會與她商量，因而父女關係非常密切，就連三娘也承認，林徽因是父親最喜歡、最疼愛的孩子。在林徽因面前，這個出入於各種社會政要人群的父親從來都不是封建的家長。他以朋友式的熱情欣賞著女兒天賦的才情與美麗，他常常感慨「做一個『天才女兒』的父親，不是容易享的福，你得放低你天倫的輩分先求做到友誼的瞭解」。這個「天才女兒」的出生和成長，背靠的是在封建社會積極接受西學的林氏家族。
然而，生活並非都是明媚的陽光，林徽因幼小的心靈過早地烙下了生活的陰影。林長民曾先後三次結婚。在杭州讀書時，曾娶葉氏為妻，但她無生育。接著，他又娶了第二個妻子何雪媛，也就是林徽因的母親。何雪媛是浙江嘉興人，是小作坊主的女兒，沒有文化，生有一子兩女。兒子和二女兒早夭，只有大女兒林徽因活了下來。１９１２年，林長民又從福建娶了第三個妻子程桂林，她接連生了４個兒子和一個女兒。在有著傳統的重男輕女觀念的父親那裡，她自然贏得了林長民的歡心。他們一家幾口被父親安排到寬敞明亮的前院，而林徽因和母親則被安排到相對窄小而又陰暗的後面小院子裡。而且，父親一直同三娘生活在一起，毫不掩飾自己的喜好，對林徽因的母親不理不睬，使她實際上過著孤苦的分居生活。
梁從誡對此有過描述：「我的外祖父林長民（宗孟）出身仕宦之家，幾個姊妹也都能詩文，善書法。外祖父曾留學日本，英文也很好，在當時也是一位新派人物。但是他同外祖母的婚姻都是家庭包辦的一個不幸的結合。外祖母雖然容貌端正，卻是一位沒有受過教育的，不識字的舊式婦女，因為出自有錢的商人家庭，所以也不善女紅和持家，因而既得不到丈夫、也得不到婆婆的歡心。婚後８年，才生下第一個孩子——一個美麗、聰穎的女兒。這個女兒雖然立即受到全家的珍愛，但外祖母的處境卻並來回此改善。外祖父不久又娶了一房夫人，外祖母從此更受冷遇，實際上過著與丈夫分居的孤單的生活。母親從小生活在這樣的家庭矛盾之中，這常常使她感到困惑和悲傷。」
林徽因的母親對三娘滿懷嫉恨，時常明裡暗裡地爭吵。面對自己母親的尷尬地位和孤苦生活，敏感的林徽因深切地感受到生活的複雜和矛盾，以及由此而來的人生苦味。童年的境遇對林徽因後來的性格是有影響的。她一直都愛著她的父親，她理解、同情母親；她以長姊真摯的感情，愛著幾個異母的弟妹。然而，那個半封建家庭中扭曲了的人際關係卻在精神上深深地傷害過她，但她憎恨由於他們在一起所造成的爭吵、苦惱。可能是由於這一切，她後來的一生中很少表現出三從四德式的溫順，卻不斷地在追求人格上的獨立和自由。
少年時期的經歷往往會刻骨銘心，對人的一生產生深遠的影響。對林徽因來說，家庭的悲劇在她心靈造成的陰影深刻地影響了她對婚姻、人生的看法。１９３７年１１月９日，林徽因給好朋友沈從文寫了一封信，回憶父親，以及和父親在一起的倫敦生活：
「我獨自坐在一間頂大的書房裡看雨，那是英國不斷的落雨……（我）一個人吃飯，一個人咬著手指頭哭——悶到實在不能不哭！理想的我老希望著生活有點浪漫的發生，或是有個人叩下門走進來坐在我對面同我談話，或是與我同坐在樓上爐邊給我講故事，最要緊的還是有個人要來愛我。我做著所有女孩做的夢，而實際上卻是天天落雨又落雨，我從不認識一個男朋友，從沒有一個浪漫聰明的人走來同我玩。」
信中的「我」是１９２０年的林徽因。多年以後她說：「年幼時的那些傷害，對我是永久性的，一旦勾起往事，就會讓我跌進過去的不幸之中。」
１９２１年初夏，林徽因伴隨父親來到了歐洲。兩個多月的海上行程，萬噸客輪如一葉扁舟，行駛在浩瀚的印度洋上，彷彿永遠也到不了岸，浪濤日夜不息地拍打著船舷，林徽因一直有一種眩暈的在夢中的感覺。按照出訪計劃，林長民帶著林徽因遊歷了法國、意大利、瑞士、德國、比利時的一些城市。一處處文化名勝，一個個博物館，還有工業革命後迅速發展起來的一家家工廠、報館，林長民都帶著女兒一一走過。１６歲的林徽因原本對工廠、報館這些地方沒太大興趣，但林長民卻認為，恰恰是這些地方體現了現代資本主義的生產方式和經營方式，可以給中國社會今後的改良做參考，故「不可不觀」。
回到倫敦之後，林徽因按照父親的計劃，考入倫敦聖瑪利亞女子學院學習，父女倆的客居生活正式開始。由於有教會學校的英語基礎，林徽因很快適應了英國的人文環境。而林長民則交遊不斷，忙碌於國聯事務。他要出席「國際聯盟協會」的會議，要與各國各地的有關人士晤面，他應邀去一些地方作演講，還要接待許多慕名前來拜望他的當地留學生和華人社團的成員。當他忙於這些事情的時候，常常顧不上林徽因。林徽因成了父親倫敦客廳的女主人，每天接待許多前來拜訪父親的中外人士。這種社交活動雖然讓林徽因多了一個瞭解社會的窗口，也讓她倍感孤單，直至徐志摩的出現。
林徽因的感受是複雜的。她敞開心靈攝取吸收來自這個新世界的印象和知識，紛至沓來的駁雜信息常常使她感到既新奇又疲倦。同時，遠離故國，遠離同齡夥伴的她又時常感到深深的孤獨和無所適從。一個人的時候，她更多是偎在壁爐旁，一本接一本地閱讀英文版的書刊。此時，她才對北京培華女子中學嚴謹的學風心懷感激。來到英國後，她沒有怎麼費力就能夠自如地與人交流和用英語閱讀。
女房東是一位建築師，林徽因常和她一道出去寫生、作畫。她最愛去的地方是劍橋一帶，那裡有畫不完的各種建築和景致。林徽因拿著一本書，隨她坐在草坪上，四下望去，皇家教堂富麗莊嚴，皇家學院散發著寧靜、幽雅的氣息，「三一學院」圖書樓上，拜倫雕像風神瀟灑地凝視著遙遠的天際。在與女房東的交談中，林徽因知道了建築師與蓋房子的人的區別，懂得了建築與藝術密不可分。以這樣的眼光再去回想她在國內國外看過的廟宇和殿堂，果然就對這些建築有了不同的理解和感受。
從這時起，林徽因萌生出了對未來事業的朦朧願望。