驚艷之後的胡蘭成，終於開始了與張愛玲非同尋常的會談。他是主講者，張愛玲是聽者。這差不多是張愛玲的一貫特點，不善於言辭，卻善於傾聽。他們這一談就是五個小時。從張愛玲的少年老成說到她的絕世才華，又從張愛玲的小說談到時下的流行作品——幾乎儘是批評之詞，胡蘭成對張愛玲一片溢美，抒發著他的感歎。他還對張愛玲在《封鎖》中把兩個陌生人的戲寫得真切自然、把吳翠遠的心理刻畫得細膩入微而欣賞不已。尤其是小說結尾，呂宗楨回家後審查女兒成績單，儼然一個好父親的樣子，而在中國這樣的男子是很多的。他們的社會角色和內心角色往往是分裂的。在外界，他們或是人們公認的「好人」或「壞人」，但在人性的基本要求上，都是一樣的。張愛玲也很感激胡蘭成如此關心她的作品。別人讀她的小說是讀故事，而他讀出了人性的思考。別人對她說《封鎖》是寫高等調情的空虛無聊，而他讀出的是對文明與人性的觀照。聊到最後，胡蘭成還試探著詢問了張愛玲寫稿的收入，張愛玲如實照答。聊著聊著，胡蘭成不免又對她又多了一層親近之感。
等到胡蘭成送張愛玲回家時，兩人已經走得很近了。就在他們並肩走到弄堂口的時候，胡蘭成突然說了一句：「你的身材這樣高，這怎麼可以？」
這一句似乎有什麼暗示。張愛玲聽到很是詫異，一則初次見面，此話實在問得突兀；二則以她受的淑女式教育，以她孤傲冷僻的性格，何曾有哪個男人這樣隨便唐突地對她說話？張愛玲微微張了下嘴唇，想說點兒什麼，卻又合上了，頭也低了下去。「這怎麼可以？」這不是一般性的比較，而且是從「般配」的角度對一對男女的比較。張愛玲於半明半昧間體會到了胡蘭成的心思。
胡蘭成對他「涉筆成趣」的輕言撩撥頗為得意，從後面他與另外幾個女人的關係中可以看出，在沒有經驗的女子面前他常有這種從容自信。若即若離的撩撥是他慣用的伎倆，這與他落拓不羈的名士做派也甚是般配。以至於後來他與張愛玲有了那樣一層關係後，他忍不住回過頭來自讚一番：「只這一聲就把兩人說得這樣近，張愛玲很詫異，幾乎要起反感了，但是真的非常好。」
有時候，感情真是一件不可言說之物。在此之前，即使是朝夕相處的姑姑，甚至是一同在香港街上瘋狂尋找冰淇淋的好朋友炎櫻，張愛玲也少有向她們敞開心扉的時候，但胡蘭成無意間的一句感慨，卻悄然打開了她一向緊閉的心靈之門。
不知道這是否就是所謂的一見鍾情，但就張愛玲所處的生活環境來看，事情可能並非想像的這麼簡單。據後人分析，胡張之戀之所以能在他們第一見面之後迅速發展下去，與張愛玲本人的生世處境與性格特徵很有關係。從某種程度上講，她還算是一個理智處世的人，遇事冷靜，有自己的獨立見解，又因為她的分析和評判標準與常人不一樣，所以做出的事情也常出人意料。
比如說她看待一個男子，他是否「完美」，重要的是看他是否有足夠的聰明與機趣，是否有應付裕如的才情與智慧，而其他的，像職業、品行、信仰等，這些在常人看來異常重要的東西，她倒未必會看重。小時候張愛玲常聽母親和姑姑講起祖父張佩綸的一些遺事，說他年老貌陋，不配為李中堂家的乘龍快婿，張愛玲則不以為然。相反，對於祖父張佩綸，她是極欽佩的。在她看來，一個落魄而不落志、滿腹經綸卻不事張揚的男子，怎能不叫人喜歡呢？即使是給她留下許多傷痛回憶的父親，她也並非完全不欣賞，她在說起父親的凶暴時沒忘記他對《紅樓夢》的熱愛、他對她幼時創作的嘉勉。一個男人，只要有了聰明，便有了最重要的一切。這便是張愛玲論人斷事時非常個人性的眼光。很多人沒能理解到她的這一點。對於胡蘭成，她多半也是持著這樣的眼光去看的。
他們雖然是第一次見面，但胡蘭成似乎就已經下了決心，要追求張愛玲。應該說，在這之前，胡蘭成接觸過的女性，從唐玉鳳、李文源、全慧文到應英娣，在他眼裡終不過是泛泛女子：唐玉鳳是舊式婚姻的犧牲品，溫順與善良，但少有情趣，全慧文如出一轍；李文源和應英娣是他耍玩態度下親吻過的女子，但熱情有餘而內蘊不足。這四個女人都不能在內心深處讓他感佩而後對之親近，更不能引起內心深處的快樂和驚喜。以胡蘭成舊式文人的才情和審美，他還沒有結識過一個有才華的女性，這在他看來是一個很大的遺憾。這時，張愛玲出現了。她不僅年輕，而且才華出眾，學識淵源，這對他既是一種吸引，又是一種刺激，所以他迫不及待地想要走進她的世界徜徉一番。
因此，張愛玲到大西路美麗園登門回訪的第二天，胡蘭成就又到靜安寺路赫德路口192號公寓6樓605室重訪張愛玲——他倒是個想做就做、有性格的男人。這一次張愛玲在自己的房間裡接待了他。她穿了條寶藍綢襖褲，鼻樑上架了副嫩黃邊框的眼鏡，「越顯得臉兒象月亮。」張愛玲的雍容高雅，讓胡蘭成暗自驚詫，自覺短了一截。
張愛玲的房間很有她自己的風格，但自有一種華貴之氣。「那陳設與傢俱原簡單，亦不是很值錢，但竟是無價的，一種現代的新鮮明亮幾乎是帶刺激性。陽台外是全上海在天際雲影日色裡，底下電車噹噹的來去。」本是有備而來的胡蘭成在這種雅致瑰麗的氣氛中也未免有點兒窘迫與緊張，有如三國時侯劉備到孫夫人房中去時的膽怯，孫夫人的新房中隱佈兵氣，「張愛玲房裡亦像這樣的有兵氣。」而昨天在他居處顯得怯生生的、十分拘謹的張愛玲，今天卻顯得落落大方、華貴高雅，使其有不敢逼視之感。這與胡蘭成前一天對張愛玲的印象極不協調。
胡蘭成這次一坐又是很久，依舊是高談闊論、滔滔不絕。不過，這次他主要講的是一些創作理論，及他個人的文學觀。之後他又講自己的生平、苦難童年、義父庶母，還有他病故卻無錢安葬的髮妻，講他在廣西的教書歲月……張愛玲依舊是一個很好的聽者，聽到動情處，便露出一些會心的微笑。
胡蘭成後來在回憶道：「我在她房裡亦一坐坐得很久，只管講理論，一時又講我的生平，而張愛玲只管會聽。男歡女悅，一種似舞，一種似鬥，而中國舊式床欄上雕刻的男女偶舞，那蠻橫潑辣，亦有如薛平貴與代戰公主在兩軍陣前相遇，舞亦似鬥。民歌裡又有男女相難，說書又愛聽蘇小妹三難新娘，王安石與蘇坡是政敵，民間卻把來說成王安石相公就是黃州菊花及峽中茶水這兩件博識上折服了蘇學士，兩人的交情倒是非常活潑，比政敵好得多了。我向來與人也不比，也不鬥，如今見了張愛玲卻要比鬥起來。」
或許是張愛玲只是覺得有這樣一個人可以說話，覺得很快樂，於是才與他推心置腹。胡蘭成自詡為一個文化人，並在該圈浸染甚久，多少也知道點兒張愛玲祖父張佩綸與李鴻章女兒間的佳話，於是就有意問起此事。張愛玲見他提起這個，便把她祖母的詩抄給胡蘭成看，並說她祖母其實並不怎麼會做詩，曾樸在《孽海花》中說「李鴻章千金擅詩」一事多是誇大，裡面選錄的那首詩是她祖父張佩綸動手改過的，《孽海花》中的「才女」之說並不真實。張愛玲這種破壞佳話的態度，使胡蘭成很是敬佩。
胡蘭成順帶還向張愛玲講述了很多他在汪偽政府中的事情，張愛玲雖然專心於文學，對政治不感興趣，但因為是胡蘭成在講，所以還是聽得興味盎然。末了還冒出一句：「前段時間知道你在南京下獄，我和蘇青還專門去過一次周佛海家，看他有什麼法子可以救你。」
胡蘭成聞言先是有點吃驚，覺得張愛玲對政治遊戲實在是外行，接著就「只覺得她幼稚可笑」。因為他和周佛海雖說不上是死對頭，但關係卻也淡遠，周佛海怎麼會出手相救呢？況且逮捕他是汪精衛的手令，周佛海即使想救，也是出不了手的。官場複雜，又豈是一個弱女子能探得了深淺的？而他與周佛海在汪偽政府中的多年積累下的矛盾又哪裡是她們兩個弱質女子一番話就能消釋的？想到這兒，胡蘭成不免為她倆的天真深感可愛！
想著想著，胡蘭成突然間想到了當年落魄的張佩綸。他們的身世是那麼的相似，那時張佩綸剛從熱河戍滿歸來，一介囚徒，待罪之身，而自己也剛剛從牢獄中解放；然後，張佩綸遇到了中堂大人李鴻章的女兒李菊耦，而自己則遇到了來自世家貴族的張愛玲；張佩綸長李家小姐近20歲，自己長張愛玲14歲……這一切，正堪比擬呀。在胡蘭成的想像中，落難才子巧遇紅顏知己的風流佳話油然而生。他是喜歡而且願意製造佳話的。
當天胡蘭成回到家後，仍覺意猶未盡，一股不可言說的衝動使其不吐不快，於是便讓侄女青芸為他準備好紙墨，揮筆寫了一首風格頗像「五四時代」的新詩——而這種風格不久前他還在駁斥，附信一起寄給了張愛玲。後來在胡蘭成看來，這首詩寫得直率而幼稚，連他自己都覺得難為情。
張愛玲素不喜歡新文藝腔，尤其不喜歡那種纏綿柔情的惺惺作態，換了別的人寫封這樣的信或情書，她一定會掩鼻一哂、棄之不顧，沒想到她對這封信卻很是喜歡，並馬上回了信。胡蘭成在信上稱張愛玲很「謙遜」，這剛好中了她的意。在常人眼裡，她冷漠孤傲，難於接近。但在張愛玲自己看來，她卻是謙遜的，一種對現世、對人生的恭敬與虔誠。胡蘭成見了她兩面即出此語，也許是張愛玲最初見他時的膽怯和寡言給他留下了深刻印象。胡蘭成是第一個說她「謙遜「的人，這正是他的聰明和獨到之處。
在給胡蘭成的回信中，張愛玲說：「因為懂得，所以慈悲。」這句話在字面上看，彷彿在說，因為自己懂得人世的喧囂吵鬧、悲歡離合，懂得生命的燦爛輝煌、美麗易逝，所以常對一切抱有一份悲憫溫暖的態度。一句「懂得」，意味悠長。世事的興滅，人與人之間的交往，許多事情都是璨然一瞬，然而真正能夠「懂得」的又有幾個？區區八個字，張愛玲對胡蘭成的知遇之感已經流露無疑。
張愛玲的心思胡蘭成自是懂得，於是從此開始，每隔一天必去登門看她。可是連去了三四趟之後，張愛玲送了張字條給他，要他以後不要再去看她。
可以想像這時的張愛玲肯定也在為她和胡蘭成之間的感情而苦惱。他們的交往也太快了，照目前的這種狀況，今後會如何發展，很難想像。雖說胡蘭成善解人意，並且舉止不凡，很有舊式文人的風度，但他畢竟已是快40歲的人了，家中又有妻室，又因為長期在汪偽政府裡做事，他的名聲也不怎麼好，使得這樁感情有諸多不合適宜的地方。而她的親戚多少已耳聞此事。她的舅舅，那位不久後被張愛玲在小說中譏諷為自從民國紀元起「就沒長過歲數」，是「酒缸裡泡著的孩屍」的遺少，也明確表示不妥，說小姐怎麼能與漢奸在一起呢？在這種情況下，張愛玲既不能如以往那樣漠然置之，又不能像蘇青那樣不管不顧。因為不知道如何才好，便讓胡蘭成從此不要再去找她，實在是正常之舉。
人生經驗豐富的胡蘭成，對張愛玲的心理動向，當然把握的一清二楚。他明白，這個時候絕對不能鬆懈，張愛玲的話無疑也是反話。胡蘭成既然已經猜透她的心思，便自然不會放棄自己的初衷。張愛玲僅把一張字條當作自己最後一道心理防線，這在他看來，也太單純了，分明就是個孩子，多少有點兒笨拙。於是他只當不知，並在接到字條的當天又去看她。見了她，也不提及此事，更不表白，就當什麼事都沒有發生過。張愛玲見他這樣，也就沒再提字條的事，她脆弱的心理防線就這樣被摧毀了。感情這種東西實在很奇怪，你越是想抑制它，它越是強烈。胡蘭成見她如此，索性每天都去看她。張愛玲本來就是一個不太顧忌別人看法的女子，胡蘭成去得多了，她也就對他產生認同感了。