張愛玲的家從此變成了兩個——父親的家，母親的家。按照離婚協議上的要求，母親仍對女兒的教育問題儘管她同父親生活在一起，但同樣可以去看望母親。這一點讓她感到極大的滿足。離婚後，母親就很快同姑姑一起搬走，住進了赫德路公寓。父親這邊也搬到了一幢新洋房——康樂村10號。
儘管分居兩地，張愛玲時常去母親和姑姑那邊玩，母親公寓內的歐式裝飾讓她十分好奇和著迷。在那裡，她生平第一次見到鋪在地上的瓷磚、浴盆與煤氣爐子，對這裡的一切都非常喜愛：「纖靈的七巧板桌子，輕柔的顏色，有些我所不大明白的人來來去去。我所知道的最好的一切，不論是精神上的還是物質上的，都在這裡了。」相比較之下，父親這邊的家則完全是兩樣：「那裡什麼我都看不起，鴉片，教我弟弟做《漢高祖論》的老先生，章回小說，懶洋洋灰撲撲地活下去。像拜火教的波斯人，我把世界強行分作兩半，光明與黑暗，善與惡，神與魔。」
當小愛玲還陶醉在母親家的快樂與新鮮感中的時候，母親竟又要動身出國了。在臨走前，母親曾到黃氏小學去看望過她。她不願當面表露自己真實的情感，在《私語》中，她寫道：「她來看我，我沒有任何惜別的表示，她也像是很高興，事情可以這樣光滑無痕跡地度過，一點麻煩也沒有，可是我知道她在那裡想：『下一代的人，心真狠呀！』一直等她出了校門，我在校園裡隔著高大的松杉遠遠望著那關閉了的紅鐵門，還是漠然，但漸漸地覺得這種情形下眼淚的需要，於是眼淚來了，在寒風中大聲抽噎著，哭給自己看。」
母親這一走，父親這邊的家很快又變回了天津時的老樣子：花園洋房，狗，一堆的撲人，一個吸鴉片的父親，沒有母親。
時間仍一如既往地靜靜地溜走。她住在學校裡，繼續上著小學。每逢節假日，都會有家裡派來的司機來接她。在學校讀書的時候，小愛玲繼續學習鋼琴，還請了一位白俄老師授課，每週一次。但父親認為學費太貴，每次她向他要錢交學費時，父親總是一拖再拖，遲遲不肯給。可憐的愛玲「立在煙鋪跟前，許久，許久，得不到回答」。鋼琴課也就此斷了。
1934年，張愛玲從黃氏小學畢業，進入了有五十年歷史的聖瑪麗亞女校。此時的她不再是從前那個懵懂無知的小女孩了，一片新的天地在她面前展開。和一切剛剛走上人生之路的少女一樣，她開始設想著自己的未來：中學畢業後就到英國去讀大學，學畫卡通畫片，盡可能地把中國畫的畫風介紹到美國去，要比林語堂還出風頭，穿最別緻的衣服，周遊全世界，在上海擁有自己的寓所，過一種「乾脆利落的生活」。顯然，張愛玲的這些理想受著她母親歐式生活方式的影響。然而，這種理想還未及實行，家中又發生了一起「結結實實的，真的」事件——父親又結婚了。
可以說，這件事預示著張愛玲整個少年時期陰鬱記憶的開始，也正一點一滴地磨去她原本對家的熱愛，最終導致了她的第一次出逃，並漸趨獨立面對外面的社會，真正地「赤裸裸地站在天底下了」。
父親迎娶的是孫用蕃，即孫寶琦的第七個女兒。孫氏一系也是顯貴人家。孫用蕃的父親孫寶琦，1901年出任法國大臣，1903年又兼任西班牙國大臣。在法期間，他還暗中協助孫中山在從事海外革命活動。因而進入了民國時期，他仍能夠繼續在新政府裡任職。北洋政府期間，他曾先後擔任過外交總長和國務總理的職位。
孫寶琦，除了正室外還有4個妾，一共有24個子女，在女兒中，孫用蕃排行老七，當時已經36歲了，同時也是陸小曼的閨中密友。據說十分精明能幹，善於交際和處理家務。如此看來，她嫁給財勢漸弱的張廷重，和她的兄弟姐妹比起來，似乎有點「下嫁」的意思，其實這位老小姐早染上了阿芙蓉癖(抽鴉片)，而這一點是張愛玲的父親所不知道的。
1934年的夏天，張愛玲父親在禮查飯店進行訂婚儀式，半年之後在華安大樓舉行了婚禮。張愛玲和表姊們一起參加了這次婚禮。那一年，她14歲。這是一個非常敏感的年齡，然而在整場婚禮上她都一直沉默著，面對父親鬧哄哄的喜事，她沒有喜，也沒有憂。對未來的生活，此時的她是否已預知到某種陰影正悄然靠近呢？成年後的張愛玲在《私語》中揭示了她的這種隱憂：
「我父親要結婚了。姑姑初次告訴我這消息，是在夏夜的小陽台上。我哭了，因為看過太多的關於後母的小說，萬沒想到會應在我身上。我只有一個迫切的感覺：無論如何不能讓這件事發生。如果那女人就在眼前，伏在鐵欄杆上，我必定把她從陽台上推下去，一了百了。」
不幸被她言中。由於這位後母的出現，或者說因為她所起到的作用，張愛玲日後的這段生活開始嵌進更深而終身無法癒合的傷口，在反抗這創傷衝擊的掙扎下，曾經的那段橙紅色的童年時代、充滿優裕感傷的少年時代，一同成為了遙遠的記憶。她開始面對自己應承擔的責任，開始像大人那樣思考。
後母進門後，對住房十分不滿意，總覺得現在住的洋房太狹窄，不夠氣派，因而要求搬家。此時在張愛玲的二伯父的名下，正好有一棟別墅空下來，一家人就搬了進去。別墅原本是李鴻章送給女兒的陪嫁，李菊耦還在世的時候，張愛玲的二伯父、父親還有姑姑都住在那裡。等祖母去世後，子女們分了家產，別墅歸於二伯父名下。在她父親謀得在天津的職務遷居之後，她的二伯父覺得住在這樣大的別墅裡太過奢侈，也搬了出去，一直把房子租了出去。
這棟別墅位於麥德赫司脫路與麥根路的交界處，挨著蘇州河，能夠望見河對面的閘北區。別墅是在清末民初時建的，仿歐式建築。房間很多而且進深，後院還留有一圈房子供僕人居住，算起來總共有二十多間。一般而言，像這樣大的房子，人口眾多的大家庭來住才划算，但張愛玲一家總共只有4個人而已，而且房租昂貴，他們根本沒必要租住在這樣寬闊豪華的房子裡，可她的後母堅決不住那棟康樂村的房子。那裡離她的舅舅家太近，而且後母一點也不喜歡她和弟弟總去舅舅家玩——凡是和張愛玲的母親有關的事物，這位後母都不喜歡。
張愛玲也不喜歡後母挑的新住處。她曾經出生在這棟房子裡，現如今隔了十幾年又回到這裡，心中難免會有一種陰鬱之感：「房屋裡有我們家的太多的回憶，像重重疊疊複印的照片，整個的空氣有點模糊。有太陽的地方使人瞌睡，陰暗的地方有古墓的清涼。房屋的青黑的心子裡是清醒的，有它自己的一個怪異的世界。而在陰陽交界的邊緣，看得見陽光，聽得見電車的鈴與大減價的布店裡一遍又一遍吹打著《蘇三不要哭》，在那陽光裡只有昏睡。」現在已經是聖瑪麗亞女校高一女生的張愛玲，十分不喜歡這種沉悶而懨懨欲睡的氣氛——越是有機會接觸到新空氣、新人物，這種不滿就越深、越重地隱在她沉默寡言的外表之下。
不過在最初的兩年裡，張愛玲都在學校住宿，到了週六，家裡派司機來接她回家。到了週一的早晨，又坐著父親的汽車去學校。只有週末會在家裡，因而張愛玲的生活並未因後母的出現發生強烈的變化。在家的時候，她就在家裡做她喜歡做的事。自己裁紙手繪聖誕卡與賀年卡，看電影看小說，照常去舅舅家談天說地——和過去沒什麼兩樣。她喜歡去姑姑那裡，喜愛她那雅致、清新和職業新女性的生活作風。當時她姑姑一直在怡和洋行做事，隨後又到電台做播音工作，這在當時，算得上是五四之後的新女性了。
張愛玲與後母之間的關係，多是出於禮節性的友好。在家過假期時，她偶爾也會與後母寒暄幾句，談談天氣，聊聊家常，甚至有一次竟讓她的後母大為感動。有一年放暑假，張愛玲在父親的書房裡寫作文，寫好後就跑到舅舅家去了，並沒有收起來。後母無意中進到書房，看到了她的作文，著實被作文的內容感動了一番。這篇名為《後母的心》的作文，把一個後母的處境與心態都刻畫得十分深入。後母以為這篇文章是張愛玲為她寫的，所以凡是有親友到家中來，後母都要把這件事說個不停，誇她文章寫得好，人又懂事。而實際上張愛玲寫這篇作文主要是為了鍛煉自己的寫作技巧，並沒有別的意思。在這一點上，她的父親比較瞭解，但既然因為妻子的「誤解」而使家裡有一種比較融洽的氣氛，他也就樂得隨聲附和。
然而總得來說，張愛玲與後母間的融洽只限於表面性的禮儀，內心都有著一層說不清的隔膜，就像從前因為姨太太的「賄賂」而說了一句「喜歡你」，多年之後仍不能原諒自己對母親的「背叛」。不管怎樣，她都不可能同後母「一條心」，何況這中間隔著一個美麗的親生母親，一個從精神上魅惑她的偶像；而同樣出身於大戶人家，工於心計的後母決不會被這小姑娘的「伎倆」蒙騙過去。
由於長期抽鴉片，這位後母的心態多少有點神經質，時常表現出刻薄陰鷙的一面。在她統掌張家經濟大權後，丈夫前妻一雙兒女的境遇可想而知。後母穿剩的衣服，張愛玲才能揀著穿。她永遠不能忘記一件黯紅的薄棉袍帶給她的傷痛：「碎牛肉的顏色，穿不完地穿著，就像渾身都生了陳瘡；冬天已經過去了，還留著凍瘡的疤——是那樣的憎惡與羞恥。」後母的刻薄，使得中學時代的張愛玲很少交朋友，因為「自慚形穢」。就像她的小說一樣，人物沒有朋友，也沒有親人，更沒有「愛」。
張愛玲中學時代的國文老師汪宏聲先生說，愛玲因了家庭裡某種不幸,使她成為一個十分沉默的人,不說話,懶惰,不交朋友,不活動,精神長期萎靡不振,不幸的家庭生活使她敏感早熟,當她帶著一顆童稚而易受損傷的心理被拋到人間感受世界的冷暖時,處處將被籠罩在內心的家庭生活的陰影投射到周圍的人和事上,沒有得到正常發展的人格心理使她感到周圍是一個冷漠的世界,這些性格特點對張愛玲寫作思想產生很大的影響。熱鬧，擁擠，然而陌生，隔閡，人與人之間的溝通充塞著幻覺、煙幕。她把這種人性裡的仇恨、善變、嫉妒、鄙視、猜忌、虛偽，描述的淋漓盡致，不加任何冠冕堂皇的掩飾。愛與不愛，於她筆下所圈定的人物，都不那麼重要了。因為他們的心始終孤寂、寒冷而又荒涼，弄不清自己真正的所在。
但因為在學校住宿，很少回家，因此彼此間敷衍幾句就過去了，然而年幼的弟弟則終日處於後母的魔爪之下，他的性格又比較柔弱，受到的待遇也就更差。某次放假，張愛玲回到家中，見到弟弟時下了一跳：原來那個「秀美可愛」的弟弟不見了，站在她面前的是個又高又瘦的萎縮的少年，穿著一件不甚乾淨的藍布罩衫，只對許多庸艷的連環畫感興趣。那時候的張愛玲正在讀穆時英的《南北極》與巴金的《滅亡》，在她看來，弟弟的閱讀趣味大有糾正的必要。然而「他只晃一晃就不見了」。僕人們紛紛向她揭露弟弟的劣跡，逃學、忤逆、沒志氣。當姐姐看到弟弟如此墮落，比誰都更加氣憤，也附和著眾人激烈地詆毀他，然而大家反倒過來勸她了。
弟弟的荒廢學業、游手好閒，以讓張愛玲傷心不已，然而更讓她無法容忍的，則是弟弟在這個陰氣沉沉的家中所發生的性格變異與心理畸化：一次在飯桌上，為了一點小事，張愛玲的父親竟動起手來，重重地打了弟弟一個耳光！她驚呆了，「把飯碗擋住了臉，眼淚往下直淌」。然而她的後母竟笑了起來：「咦，你哭什麼？又不是說你！你瞧，他沒哭，你倒哭了！」張愛玲丟下了飯碗衝到隔壁的浴室裡，閂上了門，無聲地抽噎著。「我立在鏡子面前，看我自己的掣動的臉，看著眼淚滔滔流下來，像電影裡的特寫。我咬著牙說：『我要報仇。有一天我要報仇。』……」正當她恨恨地發下毒誓的時候，只聽「啪」的一聲，一隻皮球撞在了臨著陽台的浴室玻璃窗上——她的弟弟已在陽台上踢球了。「他已經忘了那回事了！這一類的事，他是慣了的」。對弟弟徹底失望的張愛玲沒有再哭，「只感到一陣寒冷的悲哀」。