胡蘭成是拿筆桿的，李士群是玩手槍的，兩人之間本沒有任何關係，他與李士群相識，完全出於他的兜搭：
還都那年夏天，諸人在南京各有所忙，上海惟我李士群兩個次長留守，李是警政部次長。我要照看《中華日報》，他要照看七十六號。但是兩人迄未相識。忽一日無事，我想到了去七十六號玩玩，極司斐爾路七十六號是特工機關，我向來對那班人正眼兒也不看一看的，偶然卻把來當作閒遊之地亦無不可，當它是千家詩裡的「雲澹風輕近午天，傍花依柳過前川」。那李士群正在想要跳過周佛海的管轄，只苦無路可以直達汪先生，見我來到，好比天上掉下了寶貝。我亦愛他個人才，且對七十六號印象甚好。……
…………
可是汪夫人來上海，我為李士群先容，汪夫人卻不喜道：「七十六號是血腥氣的地方。」我說：「特工除非把來廢了，既未能廢，則應直屬於元首，如今直屬於周佛海，世上各國無此例。」汪夫人才說：「那麼你告訴他可以來見我。」我去南京又與汪先生說了，汪先生亦才初次召見李士群。我向汪先生進言撤廢特工委員會，改設調查統計局，在軍事委員會之下。汪先生就與陳公博研究，還在看時機。
…………
我的建議不久實現，成立了調查統計部，部長李士群。我原來是說的調查統計局，現在改為部，規模更大，而且像公開性質。汪先生本性不喜特工，他的意思寧是要使之政治化軍事化。但調查統計部到底不能是一個綜合的武力機關，而後來李士群竟能集特工，軍隊，行政，及經濟權力於一身，那是靠清鄉。
清鄉的起因也是我，真真是事與願違。[4]
胡蘭成確是會寫文章的，幾句閒話，且像是不經意間的閒話，就自抬自重，將自己弄成了汪偽政府中運籌帷幄、參贊國機的角色。
上段引文省略處，還有陳公博對周佛海說胡蘭成怎麼怎麼，周佛海為此又從上海趕往南京、向汪精衛「哭訴」。這已是周佛海因他而起的第二次在汪面前哭訴了，前一次「哭訴」，是為他在《國民新聞》發社論，指名道姓批周與日本訂立經濟協定為「喪權辱國」。可像周佛海這等驕狂人，直把自己看成汪偽政府缺不了、事實上也真是缺不了的頂梁，他會把胡蘭成放在眼裡麼？還會為他一句話要向汪去「哭訴」？
按照胡蘭成的說法，介紹李士群加入公館派的，是他；為汪精衛初次召見李士群做牽線人的，是他；提議撤消特工委員會改設調查統計局的，也是他；汪偽政府時期最大的一個政治舉措——「清鄉」的起因或者說源頭，還是他。
為何會有「清鄉」的想法，因為他想讓日本「從局部撤兵做到全面撤兵」，他將此事與李士群商量，怎樣才能使日軍先從江蘇省撤退，而由汪偽政府自己維持秩序。李士群認為單憑警察和特工的力量即可以替代日本人接防。胡蘭成便向汪精衛建議，汪向日方提出，日本人同意了，但認為僅靠警察和特工不行，須由汪偽軍隊接防日軍，結果就成立了「清鄉委員會」。汪自兼委員長，李士群任秘書長，掌管實際事務，如此李士群才「能集特工、軍隊、行政及經濟權力於一身」。如此說來，李士群能得汪重視，在汪偽政府中迅即的騰達顯貴，完全靠的是胡蘭成了。
另有記述卻不同，李士群搭上公館派內線，不在汪偽「組府」之時或以後，而是之前，還在汪精衛未到上海之前，李士群即攀上了公館派：「汪在來滬前，先派陳春圃到上海，與丁默村、李士群等聯繫，佈置汪精衛來滬後的安全和警衛問題。陳春圃住在七十六號，李士群乘機大獻慇勤，極力招待。不久汪精衛到上海，住在愚園路一一三六弄內，對外嚴守秘密，李士群命張魯兼任警衛總隊第一大隊長，挑選身強力壯的警衛人員一百餘人，駐在該弄弄口洋房內，負責汪精衛的安全。」[5]
這樣的話，李士群加入公館派就與胡蘭成沒有一點關係了。
但不管怎樣，在胡蘭成、李士群兩人的「次長級」階段，兩人之間曾有過一段頗為密切的交往時期。兩人的各自用心自不難猜想，李士群想通過胡蘭成更接近公館派乃至汪精衛，胡蘭成結交李士群是想得到特工力量的支撐，兩人互為援引利用，因此才有以後胡蘭成在上海辦《國民新聞》，而李士群則給胡蘭成提供報社的房子等等。
可為時不久，兩人之間就不對了。這與兩人在汪偽政府中地位的變化幾乎是同時發生的。
胡蘭成在下墜而李士群在上揚，胡蘭成是由次長而局長；李士群是由次長而部長、省長、秘書長，地位漸高，權勢日重，上有汪精衛支持，外有日本人撐腰，李士群成為除周佛海外的汪偽政府中最有勢力之人。此時李士群已與周佛海公然鬧開，對胡蘭成，兩人之間就更相違離了，李士群炙手可熱不可一世，而胡蘭成卻在走下坡路。以胡蘭成性情，你越跋扈，我越是不買賬，兩人之間也就不可避免會發生衝突，比如，胡蘭成在法制局長任內，對李士群的江蘇省呈上的房地產重新登記案一次次的駁回不准。這猶可說，只是公事上來往，在道理上本與私人關係無礙的。胡蘭成與李士群真正交惡，是由於吳世寶之死。
吳世寶，江蘇南通人，早年在上海做馬伕、車伕，在社會上闖蕩，手下聚起了一幫人。吳妻佘愛珍是青幫老大季雲卿的乾女兒，吳世寶依其勢逐漸自成山頭。上海本是青幫的天下，抗戰以後，原來的青幫領袖黃金榮退隱，杜月笙遠去香港，吳世寶卻不管天下世道如何，只是乘此機會大勢擴展地盤，收羅門徒，其勢力一下子如日中天，儼然成為上海新起的大流氓。李士群也曾拜季雲卿為師，在他剛到上海組織特工時，托季的介紹，李士群與吳世寶結拜兄弟，這樣吳手下的流氓也就成為李士群特工組織初期的基本隊伍。吳、李結合，兩人各有所得，李士群的特工力量借此一下子膨大，可以向日本人、汪精衛炫耀，作為進身投靠的資本；在吳則有了政治上的名頭，社會上更叫得響，可公開進行各種非法活動了。
吳世寶這輩上海「白相人」，與胡蘭成本不相關，可他與吳卻是投契。
有一天，他到七十六號去見李士群，吳世寶對他極為恭敬，坐車親自陪送他回家，兩人就此結識。此時，胡蘭成剛剛被免宣傳部次長，在上海無事閒住，就時常往吳家去玩，吳家與李士群相鄰，都在滬西愚園路上，李士群的房子也是吳送的。
吳家陳設豪華，吳世寶夫婦又愛講排場，出手豪爽，家裡日日迎來送往客如流。胡蘭成素愛富貴，如此人家做派他很對胃口，於是常在吳家流連。他愛去吳家還因為女主人佘愛珍，佘的長相打扮和風度為人，令他欣賞備至：
她走動時的安詳輕快，有一股風頭，又注意到她的腳樣鞋樣好，同樣一雙絲襪，穿在她腳上就引起女伴的羨慕。她長挑身裁，雪白皮膚，臉如銀盆。她那種臉相，只有小時是圓臉，隨著年紀成長，從她這人的聰明秀氣與英斷舒發出來的輪廓線條，筆筆分明，但又難說是長圓臉或長臉帶有方形圓意，可比花氣日影搖動，不能定准，都變得是意思無限。她眉毛生得極清，一雙眼睛黑如點漆，眼白從來不帶一絲紅筋，真真是像秋水。頭髮是她為女兒讀書時作興梳橫S頭，至今不改樣，女伴都說她梳的頭好看。她不擦口紅，不穿花式的衣裳，夏天只見她穿玄色香雲紗旗袍或是淡青灰，上襟角帶一環茉莉花。人說雪膚花貌，容貌已如花，衣裳就只可穿一色，而肌膚如雪，若再穿白，那真要變得像白蛇娘娘了。那年她三十八歲，人家看她總要看小十年，且覺得女人的妙年只能是像她現在這樣的歲數。她是生的男人相，性情亦大方佻達像男人，誰亦與她只能是極清潔的男女相見，不覺得她有魅力，卻自然大家都歡喜她，敬重她。她不是官宦人家的小姐或派頭，卻完全是現代中國大都市的民間女人，沒有一點書本上美人的誇張。[6]
男人對女人有這樣的眼光和關注，胡蘭成與佘愛珍之間關係自然非同一般。
令人想不到，吳世寶竟會被日本憲兵隊捕去。
事情的起因仍是吳世寶手下人的胡作非為。吳世寶流氓活動的地盤主要在上海西面地界，滬西地方在租界外，原是上海的煙賭聚集區，其時吳世寶在黑社會勢力一手遮天，於是那些販運煙土、製造白面的，都以吳世寶為護身符橫行無忌，其手下人參與的各種綁架搶劫、敲詐勒索案件，也經常發生。吳的大徒弟張國震等人，還貫在糖業市場興風作浪，他們帶著手槍進入市場交易，別人不敢惹，由他們操縱市價，要漲要跌全聽他們決定。日本人看到他們弄得太不像樣，一般社會正常秩序也無法維持，曾逼使李士群進行整頓，李不得已，把張國震槍決了事。可吳的手下並不因此收斂，事故仍不斷發生，最為出格的就是偷盜搶竊汽車。上海租界在抗戰後成為豪強富人的避難所，各種款式的汽車進進出出，這就成了流氓下手的最好對象，他們將盜來的汽車，打通日偽交通機構關係，出具通行證或更換汽車牌照，再弄出上海去外地出賣。
這終於觸怒了日本人。
1942年春天，吳世寶忽被上海日本憲兵隊逮捕，同時報上登載了汪偽政府對吳的通緝令，罪名是「破壞和運」。李士群得訊後奔走營救，最後將吳保釋出來。臨放行時，日本憲兵給吳吃了一碗麵。第二天李士群把吳世寶帶往蘇州，吳忽然就肚痛腹瀉，挨到次日死去。顯然，吳是為日本人下毒所害。吳世寶與李士群本是八拜之交，在特工組織內，吳世寶雖然掛名，對李卻無二心，在上海兩家又是近鄰，李士群似沒理由害吳。
可按胡蘭成寫來，吳世寶純是為李士群所害。
其理由是：一，日本憲兵包圍吳家捉人，李士群已先一日避往南京，並要汪精衛也對吳下通緝令。二是，日本憲兵來吳家時，吳世寶已逃避他處隱藏，佘愛珍求助於胡蘭成，胡蘭成全請李士群為吳世寶想法解脫。可李士群只一味要吳跟他去憲兵隊，並賭咒發誓不會出賣自己兄弟，結果佘愛珍將吳從藏匿處帶出，由李世群帶去了憲兵隊。李士群回轉時，吳世寶卻沒能回來，被扣了幾個月刑訊拷問。三是，李士群推說，憲兵隊扣吳只為調查，可自此再也不聞不問。李士群送吳世寶去憲兵隊時胡蘭成在場，他感到對不起佘愛珍，幾次三番催逼李士群向憲兵隊要人，李被逼無法，最後才將吳世寶保釋出來，並答應日本人將吳帶去蘇州看管。可李士群帶吳世寶往蘇州，僅隔了一日，吳世寶就暴死在李家。
如此種種，在胡蘭成看來，吳世寶完全是為李士群所害，即便不是李本人下手，也是李士群借刀殺人，借日本人的刀殺了吳世寶。
是佘愛珍從蘇州打電話到上海，胡蘭成才得知吳世寶死訊的，他立即趕往蘇州，然後又應佘愛珍之請，再趕往南京要求汪偽政府取消對吳的通緝令，如此吳才能發喪。胡蘭成在南京將事情辦妥，又趕回蘇州陪佘愛珍將靈柩運往上海。一到家，佘愛珍即哭倒在地不起，眾人相勸不下，說只有「胡次長」的話吳太太會聽。胡蘭成輕身上前，湊在佘愛珍耳邊悄悄說：「不要哭了，將來我會報仇。」然後抱起佘就往樓上走，此處胡蘭成說得妙：「我一拖把她扶起，她倒在我身上，我就抱起她……一直抱上樓梯，到她房裡床上放下，竟像當年我抱玉鳳。」[7]
胡蘭成說的「報仇」，自然是指向李士群「報仇」。可抱佘愛珍上樓容易，要兌現「報仇」就不是輕易的事了。
可湊巧的，胡蘭成即景生情的一句隨意話，真就實現了，一年後，李士群為日本憲兵毒死。
胡蘭成像是真的實踐了自己的諾言。