停住，不再去擾亂心情！
一天一整串辛苦，
此刻才賺回小把安靜，
夜晚回家，還有遠路，
白天，誰有工夫閒看雲影？
不都為著真的口渴
四面窗開著，喝茶，
蹺起膝蓋的是疲乏，
赤著臂膀好同鄉鄰閒話。
也為了放下扁擔同肩背
向命運喘息，倚著牆，
每晚靠這一碗茶的樂趣
幽默估量生的短長……
這是立體的構畫，
設色在小生活旁邊，
蔭涼南瓜棚下茶鋪，
熱鬧照樣的又過了一天！
在生活稍為安定的時候，梁思成便想恢復營造學社的活動，對西南地區的古建築進行考察，繼續完成未竟的事業。為了籌措經費，梁思成給中華教育文化基金董事會的周詒春寫信，詢問能否得到補助。周詒春覆信說，只要有梁思成和劉敦楨在，基金會便承認營造學社，可以繼續給補助。正好劉敦楨從湖南新寧老家來信表明願到昆明來，而後又有營造學社的幾個骨幹也陸續到了昆明，營造學社便又重新組建起來了。
重新組建的中國營造學社只有６人，梁思成、林徽因、劉敦楨、劉致平、莫宗江和陳明達。劉敦楨畢業於日本東京高等工業學校建築科，回國後曾任蘇州工業專門學校教授，１９３１年入中國營造學社擔任文獻部主任；劉致平１９３２年畢業於中央大學建築系，畢業後到上海華蓋建築事務所工作，１９３４年來到學社，是梁思成的主要助手；莫宗江和陳明達則是營造學社自己培養的研究人員，也是測繪高手（後來都成為我國著名古建築學家）。
這時對於昆明的轟炸越來越多，為了躲避戰爭帶來的災難，他們搬到了更為偏遠的地方。在林徽因的監工下，林徽因在昆明１２公里外的小村莊龍頭村，建造了一個屬於他們自己的家。挑選距離城市這麼遠的地方，只是因為他們都希望能避開轟炸。
「出乎意料地，這座房子花了比原來告訴我們的高３倍的錢。所以把我們原就不多的積蓄都耗盡了，使思成處在一個可笑的窘境之中（我想這種表達方式大概不對頭。）在建房的最後階段事情變得有些滑稽……我們的房子是最晚建成的，以至最後不得不為爭取每一塊木板、每一塊磚，乃至每根釘子而奮鬥。」林徽因寫道。
一直到１９４０年春天梁思成從四川回來以前，都是由林徽因獨自辛苦撐著這一個簡陋的家。因為在１９３９年秋天，梁思成的身體基本恢復的情況下，他便和劉敦楨、莫宗江、陳明達這些營造學社的同僚們一起，對雲南、四川、陝西、西康等省的３６個縣開始了長達半年的古建築考察。
「現在我們已經完全破產，比任何時候都慘。米價已漲到１００塊錢一袋，我們來的時候才三塊四。其他東西的漲幅也差不多。今年我們做的事沒有一件輕鬆。……思成到四川去了已經５個月。我一直病得很厲害，到現在還沒有好。」
１９４０年９月費慰梅從美國寄來的支票幫了林徽因的大忙，這正好支付了建築費用，幫助林徽因脫離了這種「可笑的窘境」。
住進新居，林徽因的心情可以說是喜憂參半：一方面是在戰火紛飛的年代，自己一家終於有了一個可蔽風雨的屋頂，有了可供自己安靜生活、工作的空間；另一方面，戰爭的陰影卻仍然隨時籠罩著一切。
生活是艱難的，冷熱自來水都沒有。第一樣買回的物品是一口陶制的大水缸，有近一米高，用來儲存挑進屋裡的水。對一個家庭來說，一口水缸是如此重要，以至於一座燒缸的窯開張時，婦女們彼此擁擠甚至打架，惟恐買不到。燒飯是俯身在一隻三條腿的火盆上動手，火盆的頂部離廚房的泥地不過四五十厘米，只能支一口鍋。燃料用煤灰和泥做成的煤球，火必須扇旺到能做飯的程度。如果要洗澡、洗衣或洗碗，就得從水缸裡舀出水來，在這個或另一個爐灶上燒熱。任何家庭若是有一個大熱水瓶來儲存熱水，就把它當成是家中的寶貝。除此，還要冒著塵土或泥濘，迢迢跋涉到村裡去買那些買得起的食物帶回家，而且還得天天去，因為根本沒有冷藏這回事，連想都別想。當然沒有電話或交通工具。
天黑了點菜籽油燈，但那也很貴，所以最好還是跟村民一樣，天一黑就睡覺。孩子的衣服穿破了或穿不下，不知如何是好。布，幾乎沒有。一句話，戰爭、通貨膨脹和原始的生活方式，已把梁家變成了窮人家。這段時期，林徽因生活得很苦很累，自己有病，梁思成又經常外出，營造學社的日常工作、照顧子女的重擔都落在她羸弱的肩上。林徽因雖然是名門閨秀，留洋才女，但她並不嬌嫩，長期的野外調查已磨練出了堅強的意志和性格。然而，在沒電、沒自來水、沒交通工具的鄉村，又要工作又要拖兒帶女，還是使她備受煎熬。生活留給林徽因的記憶是深刻的。建房的艱辛，生活的困難，從月色中野花的清香到堤岸上聳立的柏樹，從田間地頭的農婦村夫到燒製盆罐的窯工泥匠，都使她更加接近現實社會生活，
林徽因有一首詩，《微光》是這段生活的寫照：
街上沒有光，沒有燈，
店廊上一角掛著有一盞；
他和她把他們一家的運命
含糊地，全數交給這黯淡。
街上沒有光，沒有燈，
店窗上，斜角，照著有半盞。
閤家大小樸實的腦袋，
並排兒，熟睡在土炕上。
外邊有雪夜，有泥濘，
砂鍋裡有不夠明日的米糧；
小屋，靜守住這微光，
缺乏著生活上需要的各樣。
缺的是把乾柴，是杯水；麥面……
為這吃的喝的，本說不到信仰——
生活已然，固定的，單靠氣力，
在肩臂上邊，來支持那生的膽量。
明天，又明天，又明天……
一切都限定了，誰還說有希望——
即使是做夢，在夢裡，閃著，
仍舊是這一粒孤勇的光亮？
街角里有盞燈，有點光，
掛在店廊，照在窗檻；
他和她，把他們一家的運命
明白的，全數交給這淒慘。
提到林徽因在這段時期裡每天的生活，她自己形容：「我是女人，理所當然變成一個純淨的『糟糠』典型，一起床就灑掃、擦地、烹調、課子、洗衣、鋪床，每日如在走馬燈中過去。然後就跟見了鬼似的，在困難的三餐中間根本沒有時間感知任何事物，最後我渾身疼痛著呻吟著上床，我奇怪自己幹嘛還活著。這就是一切。」
她繼續回憶說：「每當我做些家務活時，我總覺得太可惜了，覺得我是在冷落了一些素昧平生但更有意思、更為重要的人們。於是，我趕快幹完了手邊的活兒，以便去同他們『談心』。倘若家務活兒老幹不完，並且一樁樁地不斷添新的，我就會煩躁起來。所以我一向搞不好家務，因為我的心總一半在旁處，並且一路上在詛咒我幹著的活兒——然而我又很喜歡幹這種家務，有時還幹得格外出色。反之，每當我在認真寫著點什麼或從事這一類工作，同時意識到我在怠慢了家務，我就一點也不感到不安。老實說，我倒挺快活，覺得我很明智，覺得我是在做著一件更有意義的事。只有當孩子們生了病或減輕體重時，我才難過起來。有時午夜捫心自問，又覺得對他們不公道。」
金岳霖用兩句簡單的話，概括了他對林徽因這段時期生活的看法：「她仍舊很忙，只是在這種鬧哄哄的日子裡更忙了。實際上她真是沒有什麼時間可以浪費，以致她有浪費掉生命的危險。」
天氣開始轉冷，天空佈滿愈來愈多的秋天的泛光，景色迷人。空氣中飄滿野花香——久已忘卻的無數最美好的感覺之一。每天早晨和黃昏，太陽從那方位帶來靜穆而優美的快感，偷偷射進這個充滿混亂和災難的無望的世界裡，人們仍然意識到安靜和美的那種痛苦的感覺之中。戰爭，特別是我們自己的這場戰爭，正在前所未有地陰森森地逼近我們，逼近我們的皮肉、心靈和神經。
到１１月，轟炸越來越厲害。林徽因在給費慰梅夫婦的信中這樣說道：
日本鬼子的轟炸或殲擊機的掃射都像是一陣暴雨。你只能咬緊牙關挺過去，在頭頂還是在遠處都一樣，有一種讓人嘔吐的感覺，尤其是當一個人還沒有吃過東西，而且今天很久都不會再吃任何東西，就是那種感覺。
可憐的老金，每天早晨在城裡有課，常常要在早上５點半從這個村子出發，而還沒來得及上課空襲就開始了，然後就得跟著一群人奔向另一個方向的另一座城門、另一座小山，直到下午５點半，再繞許多路走回這個村子，一天沒吃、沒喝、沒工作、沒休息，什麼都沒有！這就是生活。
沒有辦法的林徽因和梁思成，帶著兩個孩子和外婆，在１９４０年１１月底搭卡車離開了昆明。車上３１個人，從７０歲的老人到一個剛出生的嬰兒都有。每家都領到一份少得可憐的行李津貼，坐在擠滿了人的敞篷卡車裡，雙腳叉開坐在鋪蓋捲上，「蹲馬步」，是當時中國普遍的交通方式。行行復行行，這趟旅程持續了兩個星期。林徽因形容：「裝載著老的少的，在仲冬天氣裡越過大山。」走的那天梁思成忽然發燒了，只好一個人留在昆明，他在三個星期後抵達。
１９４０年的冬天，營造學社在四川南溪縣李莊鎮上壩村安營紮寨。為了便於利用中央研究院史語所的圖書資料（此時梁思永在該所供職），營造學社也同史語所入川。林徽因一家和營造學社同人乘一輛卡車，經曲靖、六盤水，過敘永直下瀘州，在離宜賓６０華里的南溪縣李莊鎮上壩村安營紮寨。
上壩村距李莊鎮只有兩華里，依山傍水，還有大片的竹林。竹林深處有一個院落，內有兩間低矮、陰暗的陋室，沒有自來水和電燈，煤油燈也要節約使用，夜間讀書寫字只能靠一兩盞菜油燈照明。林徽因一家租用了兩間低矮的陋室，牆是竹篾抹了一層泥巴，大大的牆縫能爬進淒冷的月光。頂上的席棚年長日久，是老鼠經常出沒的地方，偶爾還有蛇猙獰地探進半個身子。床上的臭蟲成群結隊，吃水用水要到村邊水塘去挑。