1943年，是胡蘭成多事之秋。
年初，法制局被汪偽政府行政院撤消，他剛做了一年的法制局長也就無形中被免除。九月，特工頭子李士群被日本憲兵毒殺，李士群雖不因他而死，他卻是事先與聞，事後也以此自得其樂的。十月，他先從文章始，開始與張愛玲結識。十一月，他靜極思動，寫了批評文章表白自己，不意經由日本人輾轉流傳，結果招了場牢獄之災。禍事由日本人引起，也是因日本人他才得以解脫，他卻由此開始，徹底投向了日本人。
胡蘭成在汪偽政府官場上的一路走下坡，與他和汪精衛的個人關係漸遠漸疏是同步的。
他原沒有任何地位、資歷和人事淵源，他是靠自己一支筆加入「和平運動」，靠拚命為汪偽活動寫文章造勢，才被陳璧君發現、被汪精衛青睞，他之能夠很快發跡，成為汪偽集團中的新秀，完全靠的是汪精衛的刻意提拔。汪把他看成自己人——自己的私人，他對這種私人寵信是很有點得意的。他自己明白，他之所以能在汪偽集團頭面人物中周旋，得人拉攏和看重，也是由於他與汪個人的這層關係，他究竟有著汪精衛秘書的名義，他那個並無多少實際內容的宣傳部次長，倒是並無多少人認真看待的。
胡蘭成兼任汪精衛秘書前後有四年，卻沒有到過秘書室。汪有事叫他，總在汪公館客廳裡見。他很自得於汪對他的客氣，汪對其他公館派人只叫名字，獨對他稱先生，他不認為這是生分和有距離，這點生分和距離也正合他清高狂傲的性情。陳璧君有一次對他說，他可以把汪當作大哥，而把她看成姐姐，他聽了沒有接口，他只願汪夫婦待他如賓客。他還不想成為在汪身邊鑽營的佞幸小人，只是如賓客，就不會過於親膩，就能多少保持自己的隨意放蕩；因為如賓客，他才會在汪偽政府成立當日，心裡就存諷刺，就敢對古泳今明言汪偽政府的存在不會持久；正因為如賓客，他才能在汪面前塑造和維持自己的謀臣策士的角色，多少保有一點獨立性，隨時隨地能向汪建言，以此反更能見重於汪。汪身邊不缺親信，也不乏忠臣，少的就是敢獨立建言乃至犯顏直諫的謀略之士，他就填充了這一角色。表面上是獨立無羈，卻是更為高明的迎風承旨的討巧，胡蘭成出入汪公館，這是他算計清楚的自己能擔當的合身的角色。
胡蘭成狂傲，汪政府中的許多人，他都看不上，看上的也有褒貶，獨對汪偽政府最高人物汪精衛，他自認是始終敬重的。這出於對汪的地位和資歷的尊重，也是對自己安身立命的認識，旁人如此看待，他自己也對此有數，沒有「和平運動」，沒有汪對他的器重，憑他自己，是絕無可能有此發展機會的。根據他對國內外形勢分析的見解，他知道汪所作所為的前途有限，可他直到最後，仍將汪偽政府和民國政府看成是《紅樓夢》「金陵十二釵」中的正冊副冊。這是他的自解解人，既為汪偽這班人的漢奸行為解說，也是為自己開釋。
他將自己的忠誠投注於汪精衛一人。他拉李士群入公館派，是為了汪這個「國家元首」能直接控制特工；他瞧不上周佛海等人的驕橫，就是因為周對汪的不忠，背著汪行事做小動作。他認為汪「到底是出身辛亥革命及北伐的人物，日本人小覷他不得」。並借日本人的口稱道汪與日方談判時，一邊是戰勝國，坐著日本大臣、大將和司令官，一方是戰敗國，坐著汪，但比起來只見汪是大人，日本的大臣、大將司令官都藐小了，汪的風度氣概壓倒了對方。汪精衛去東北「滿洲國」訪問，對公眾演講時熱淚盈眶，他也跟著感慨。汪及其偽政府官員心虛理虧，心裡總讓著重慶方面三分，不敢以正位自居。
重慶軍統先在香港暗殺，以後又發展到上海南京暗殺，李士群的特工卻不敢殺過去，胡蘭成也只是報上發議論反對暗殺，在胡蘭成看來，那只是與重慶兩方剛柔相濟為用的手段，是「敬畏現實」，汪的「和平運動」只存謙遜之心，干平常事而已。汪是委曲的，也是獻身的，事雖難成或不成，汪卻是為「和平運動」，真真做了精衛之鳥，銜石欲填東海。如此等等，這就是胡蘭成為汪精衛所作的一番沉痛說詞。自然，不管成敗，胡蘭成自始至終不以為汪有什麼錯，他自己有什麼錯，所以，當以後汪偽政府一干人被審判時多承認錯，不承認錯且終不悔恨的，恐怕只有汪夫婦以及胡蘭成等不多的幾個人了。
胡蘭成以「日月光華，弘於一人」、「夙興夜寐，以事一人」來表達他對汪的忠心，認為自己比誰都更忠誠。汪夫婦待他也不薄，他已在汪公館登堂入室，與汪家人一起吃飯，一起乘涼和閒話。這些，他雖不曾怎樣的受寵若驚，卻唸唸切切在心。他不斷給汪獻計獻策，得機會便上條陳建言。他跟著汪死命反共，在蘇德戰爭發生以後，他高興得簡直要跳起來，可當太平洋戰爭發生，日本不顧一切公然與美國開戰，他看出這一次日本將自食其果，日本的軍事力量已達極限，是無法抵擋美國的，結果終將不利於日本。汪精衛卻是極為高興，沒有理他。緊接著汪精衛訪問日本，覲見天皇，和首相東條英機會談，汪向東條主動提出以汪偽政府名義對英美宣戰。汪回南京後召見胡蘭成，胡蘭成表示不應對英美宣戰，汪極不樂。胡蘭成這次沒摸準汪的脈搏，汪偽政府自建立以後，除了與日本之外從沒有過任何外交活動，這是一次機會，汪宣戰，也是他第一次以「國家元首」身份、以汪偽政府的名義參與國際政治。胡蘭成已隔膜太遠，這是他與汪的最後一次單獨相見。
胡蘭成以失寵於汪自詡，他自比孫悟空，雖然只是個無品級的弼馬溫，卻能在天上遨遊無事，自在灑脫，而汪究竟沒有能將他收伏。這既是牢騷也是自表清高，也是無奈。可他無任何背景，本也不是個做官的料子，唯一依恃的就是汪的看重和器重，失去汪的寵信，隨之而來的必然也就是在汪偽政府中的地位直降而下，於是他從次長到局長，從局長再到無所任的委員，直至被免去所有官位。