卻說柴令武等人在武府門前叫了幾天，見楊悅始終不理，無可奈何。房遺愛獻計說道：「姓武的跟個娘們一樣躲在家裡不敢出來，咱們乾脆送件『女人衣服』給他怎樣？」三國時候諸葛亮曾送司馬懿「女人衣服」羞辱於他，用來激司馬懿出戰。眾人聽了哄然叫好。
這個房遺愛便是楊悅所說的「房某」，高陽公主的綠帽丈夫。房遺愛不知為何基因突變，一改其父親謀略超凡的特點，不愛學文專愛學武。高陽公主偏偏喜歡風流才子，因此對房遺愛極不稱意。要說這房遺愛也保留了父親一點基因，那就是「鬼點子」較多。
房遺愛見高陽公主對楊悅十分的痛恨，第一次見高陽公主對一個小白臉這樣不屑，心中高興，因而對對付楊悅的事兒也十分的上心。房遺愛的老媽也是個極品美人，房玄齡雖提不上有從英俊，但也是中人之姿，但不知房遺愛為何卻將父母的所有缺點都遺傳了去，生得十分粗陋，也難怪高陽公主看不上眼。生得醜點也不是錯，偏他與老爹性情大異，房玄齡乃是有名的大儒，文史博學。而他卻偏偏專門喜好武刀弄搶。如果他開武功若十分出眾也行，可惜地是他武功也不過中人之資，平平如常。如何能讓高陽公主看上眼。但房遺愛卻有一向功夫十分了得，便是與其老媽大為相異，他的老媽在中國史上以「吃醋」而著名，而他卻被高陽公主戴綠帽，反而還為高陽公主守門望風。真不知房玄齡夫婦怎會生出這樣一個即不肖父也不肖母的兒子，也算是基因突變的典型特例。
楊悅這日從外面溜躂回來，見丁小眼兒等人遠遠見到她竊竊私語，完全沒有了平日謹小慎微的恭敬模樣。回到後院，眾女眷也都看著她交頭接耳。楊悅見大家神情有異，不知發生了什麼事兒，武權不知去了那裡。
武眉兒偷偷告訴她，柴令武等人見楊悅久不出戰，今日送了件女人衣衫給她。武大郎與武二郎正在楊夫人處，武權被叫了去問話。
楊悅聽了嘻嘻一笑道：「我當什麼事情，這點小事便引起大家如此哄動。」轉身向楊夫人房中走去。
武元慶與武元爽二人一左一右坐在楊夫人下手，黑著臉正有向楊夫人說著什麼。顯然是他們提出的事情楊夫人不同意。見楊悅進來，武元慶與武元爽交換一個眼神，說道：「母親，這些日子天天有人來門前叫罵，全是楊悅惹來的禍事兒，如何處理，母親看著辦吧。」
楊夫人為難地向楊悅看看說道：「悅兒你看怎麼辦？」楊悅問道：「什麼怎麼辦？」楊夫人指指武權手中的「女裝」說道：「今天門前那些人將這件衣衫扔進門來，你大哥二哥說是你引來禍事，才使武府蒙辱……」
楊悅嘻嘻一笑道：「柴令武送了衣服給我？」拿起武權手中的衣服，左右比劃著看了看，笑
「雖然不怎麼合身，不過質地也還可以。明天悅兒派人謝過他便是。」
眾人面面相覷，沒想到楊悅會說出這種話來。武氏兄弟二人臉色一沉，武元慶怒道：「不知死活的丫頭，誰在跟你開玩笑。」武元爽也說道：「你一向以武公子面目示人，如今被人送來女人衣服，分明是侮辱你像個女人一樣，不敢出頭。」
楊悅笑道：「我本來就是女人，他願意送我衣服，我不謝他還能怎樣？」武氏兄弟見她胡攪慢纏，齊聲歷喝道：「住口，我武府的聲譽豈不全被你丟盡了。」向楊夫人說道，「母親，如若這件事情再任由她胡鬧，休怪我二人不客氣。」說完也不告聲退，便甩袖而去。
楊夫人見二人走了，對楊悅說道：「你說該怎麼辦？」楊悅笑道：「母親若信得過我，悅兒定能讓他們加倍奉還。」楊夫人見楊悅一幅胸有成竹的樣子，歎一口氣道：「不是母親不幫你，只是你也看到了，母親也有母親的難處。」楊悅點點頭表示理解。安慰她幾句，與武權一齊退出。
第二日，楊悅果然派武權對柴令武等人說道：「我家少主說謝謝眾人的禮物，不過做工太差，以後要送就送好一點的來。」
眾人聽了，目瞪口呆。見楊悅竟然油鹽不進，反而沒了計策。眾人商議了半晌，最後還是房遺愛又獻計道：「既然他甘心做女人，我等何不大肆宣傳，將此事讓整個長安城的人都知道，他如同女人一般，是個不敢應戰的懦夫。也好為柴大哥出口氣。」
柴令武見楊悅始終不應戰，無可奈何。便依著「房遺愛」之計，到處宣揚楊悅龜縮不出，是個懦夫孬種，跟女人一般。
果然起到不小的效果，「長安公子」由最初的英雄人物變成了「縮頭烏龜」。眾人這才從武府撤走，回柴府慶賀去了。
柴令武等人在武府叫陣多日，楊悅一直不理，眾家丁都以為她怯了，私下裡悄悄議論，甚至陰陽怪氣的將街上的議論專門在楊悅面前大聲說，丁小眼兒等人也對他不大尊敬起來。
楊悅看在眼裡，心中只是冷笑，對眾人的揶揄全不理會。等到見柴令武領眾人撤了，將武權喚來說道：「你明日一早到東市西市以及京城有名的學院門口各貼一張『大字報』，就說本公子明日要親自向柴令武下戰書決鬥。」
武權奇道：「少主，他們好容易才撤走，何苦反而還要招惹他們……」
楊悅笑道：「我早就說過，他要戰便戰，豈不是太聽他話。他想不戰我偏要逼他一戰，看他待要如何？」武權說道：「少主，他若真要應戰怎麼辦？」楊悅道：「我自然是要與他一戰！」
武權心想：少主定是被眾人氣壞了，這是要找柴令武拚命去。
楊悅不理他的不解，讓他只管照作便是。武權無奈只好照作。
第二日，一早武權派人按楊悅所說，將「大字報」在東西二市以及國子學、太學院門前各貼一張，還在東西二市的「大字報」前都設了一人敲鑼，邊敲邊說：「今日午時，武公子將到柴府下戰書與柴公決鬥了……」
等到楊悅中午去柴府時，柴府門前果然已人山人海。這些日子大家對楊悅一直龜縮不出，十分鬱悶，見說「長安公子」要親自下戰書與柴令武決鬥，那些先前早對長安公子讚不絕口的人們，早將此事傳了個滿城風雨，因此柴府門前從早上開始便圍了許多人來。各色人等，不只太學院、國子監的學生，便是弘文館、崇文館的學生也來了不少。還有許多商人、武士，甚至許多閨中少女，竟是五花八門。一時間柴府門前竟然似集市一般。連平陽長公主也驚動了，問出了什麼事兒。聽到是柴令武要與人決鬥，還將柴令武訓斥了一頓。
等到楊悅一襲白袍，乘白馬，昂然而來。眾人見到楊悅神采飛揚，風流倜儻，齊聲喝彩。有不少人高聲叫道「長安公子」！「長安公子」！如眾星捧月般圍在楊悅身邊。楊悅向眾人至意，在柴府門前站定，讓武權上前拍門。
高陽公主等人也聽說了，早早集了來柴府，柴令武被母親訓斥，十分鬱悶，也有些後悔事情鬧得有點大。高陽等人卻說：姓武的敢來，便讓他有去無回。柴令武已是騎虎難下，不得不戰，只好硬著頭皮應戰。
見楊悅神清氣爽，威風凜凜立於門前。柴令武一時納不過悶來。心道前幾天他還死活不戰，怎麼這日又上門索戰。只聽楊悅向他一抱權說道：「姓柴的，你幾次三番於無理取鬧，我本不想理你，沒想到你竟然四處壞我名聲說我不敢應戰，今日我武悅特意前來下戰書。眾人前來正好做個見證，不是我武悅怕了這個姓柴的，而是懶得理他。」楊悅向眾人一抱拳，最後一句是說給來助威的人們，眾人聽了哄然叫好。
房遺愛等人聽了，不怒反喜，說道：「如此正好，正要找你決鬥，你來的正好。」摩拳擦掌便要上來。
楊悅哈哈一笑說道：「好勇鬥狠不過一介武夫所為，本公子沒讀過幾年書，卻也略通文墨，咱來比試做詩如何？」
眾人本見楊悅俊秀紛嫩，招人喜愛。又見柴令武等人個個粗武有力，對比明顯。正為楊悅暗暗擔心，見楊悅揚長避短，不由暗讚楊悅聰明。唐人向來將詩文看的很重，科舉取士也以詩文為主，對才子很是敬仰。見楊悅不武鬥，要文鬥，都興致勃勃來了興趣，特別是那些學生早轟然叫好，想要看楊悅如何贏過柴令武。
柴令武弓馬嫻熟，於詩文也略知一二，卻不是他的專長，他並不笨，見楊悅揚長避短，豈肯上當，說道：「決鬥不用武力，比詩文叫什麼決鬥。」
楊悅長笑一聲說道：「難道你怕了不成？！」柴令武性子本就衝動，見他如此說，大怒道：「我會怕你，比就比來。」楊悅心道要的就是你這句話。
二人正要比試。卻聽高陽公主叫道：「武大哥不要上他當，他詩文做的好，你與他比詩文，是以自己的短處碰他的長處，正好中了他的圈套。」
柴令武一怔，想起當日楊悅在自己劍下，隨口念了一句「生當做人傑，死亦為鬼雄」便已傳頌整個長安城，看來楊悅詩文功夫甚高，心想高陽公主說的大有道理，自己一時衝動，莫要敗得十分難看。看楊悅一幅儒雅模樣，莫非真的很有學文？他平日見楊悅與楊豫之交好，一向以為楊悅不過與楊豫之一樣，是專愛架雞鬥狗不學無術之輩，對他心中存了十二分的輕視。所以見楊悅說要比文，並不在意。此時被高陽公主提醒，才警覺起來。
趙質在一旁叫道：「不比詩文。比武決鬥，比文叫什麼決鬥。」
楊悅回頭向眾人問道：「眾位評評理，比文叫不叫決鬥！」
那些學生見柴令武一方不肯比文，還說什麼比文不叫決鬥，心中早有意見，不等楊悅來問，早有幾個學生搶上前去理論：「比文為何不叫決鬥」！、
大多數人即對楊悅存了好感，見她相問自然紛紛叫道：「文鬥，文鬥，比文決鬥！」哪管他決鬥是只能比武還是比文。柴令武一方卻大叫：「武鬥，武鬥！」一時雙方各執一詞，互不相讓。只可惜柴令武一方雖然有許多家丁一起出來助威，氣勢卻比不上眾人……
楊悅見大家爭來爭去，無法達成一致。伸手向眾人示意，眾人才漸漸停下叫嚷。楊悅說道：「既然大家意見不一，不如雙方各選派一人先較量一下，作為預賽，誰贏了由誰決定正式決鬥的方式如何？」
柴令武一方也覺得有理，心想自己一方要文有文，要武有武，不論比什麼都不會輸，還怕什麼。
只聽楊悅又說道：「你我猜拳決定，若你勝，這一場預賽便比武，我勝則比文如何？」柴令武點頭同意。當即決定，先由柴楊二人猜拳決定「預賽」比文不是比武，再由「預賽」的勝出方決定楊悅與柴令武決鬥的規則。
一二三，出拳。柴令武倒霉，楊悅取勝，說好預賽比文。柴令武自認倒霉，但轉念一想，預賽比文，自己這一方不用自己出面，不信這麼多人中有比不上楊悅的。回頭與眾人商議由誰也出面比對。
高陽公主知道楊悅文采，知道他們這一夥人個個武長於文，定然比不過楊悅，可惜辯機不在這兒，如果他在或者可以勝得了楊悅。想到此，靈機一動說道：「文比不一定要比詩文，琴棋書畫皆是文。比一比琴技如何？」柴令武等人知道高陽公主琴藝高超，當下哄然叫好。
楊悅見說，知道高陽公主自以為琴技了得，微笑不語。心想：這場預賽本就十拿九穩地贏定了。如果比武，少不了明日請李淳風來幫忙；比文更不會怕，憑自己千年的詩文知識還鬥不過這些人，也就不用混了。沒想到高陽卻提出比琴，如果一個月前高陽要比琴，一定讓楊悅大感頭痛，只是「士別三日當刮目相看」，以楊悅現在的琴技，高陽豈是對手。當下也不反對，說道：「好，一局定輸贏，就比琴來。」
眾人見楊悅敢以琴技相比，正要見識長安公子的本事，也連連拍手叫好。
高陽公主見楊悅欣然同意，心中十分得意，當日楊悅對她琴藝的歎服，可以看出是十二分的發自肺腑，她可不信楊悅在琴藝上能超過他。事實上，除了當今聖上還有吳王李恪以及楊貴妃，高陽公主的琴藝自認不輸於任何人。只不過這只是高陽公主井義之蛙的想法，不過她怎會自知。
柴令武一方自然由高陽出面。問楊悅一方由誰來比，楊悅一指自己說道：「何需別人，自然是我。」
高陽公主見是楊悅出頭，心中更是大喜。
楊悅示意高陽公主先請。高陽公主也不客氣，一曲《相見歡》，雙手飛舞，花色百出，如蝴蝶一般，讓人看得眼花繚亂。便是心中向著楊悅的眾人也不由拍手叫絕。高陽公主一曲終了，美目顧盼，十分得意。
楊悅微笑不語，拿來瑤琴，雙手舞動，如高陽一般，技藝高超，看得人眼花繚亂。眾人見到驚駭不已，心想：今日真是大開眼界，高陽公主的技藝超群，沒想到這個武公子的手段更加高明。真是難分高下。
正喝彩間，只聽楊悅曲調一轉，一曲《英雄》錚錚而出，正是當日楊悅自作的曲子。眾人聽了不由心頭一震，時而高亢，時而低沉，時而激奮，時而穩健，如大浪淘沙，江河倒流……楊悅一曲終了，氣定神閒。眾人卻恍如夢中，神為之醉，過了許久才清醒過來，一時間掌聲如雷般迭起。
高陽公主面如死灰，自知楊悅所彈境界自己無法達到。她向來以為琴技高超甚是自得，被楊悅比了下去，一時惱羞成怒，竟然將瑤琴擲於地上，轉身而去。
柴令武見己方輸了，只好任由楊悅規定正式決鬥的規則。
楊悅朗聲笑道：「如若比武，自然是柴公子勝出一籌；如若比文，我武悅怕要勝之不武；柴公子如若輸了，也定要說我以長取短，未免心中不服。也罷，咱們文武都不比。」
柴令武一呆，沒想到楊悅會如此說，奇道：「那比什麼？」
楊悅想了想說道：「佛教自漢末傳入我朝，如今許多百姓趨之若鶩。武悅不才，不曾讀多少經文，柴公子對此可有研究？」柴令武茫然搖搖頭。
楊悅說道：「如此甚好。咱們便從今日起，各自研習經書佛法，三日後到弘福寺，請高僧主持，在佛法上一決勝負如何？」
眾人見楊悅不以己之長欺人之短，更加佩服，紛紛向楊悅豎起大拇指叫好。
柴令武心想：楊悅琴藝如此了得，只怕詩文更勝一籌。如今他不與我比詩文，只比佛法。即使他佛法了得，也只好認了。當下點頭同意。
二人說好，三日後到弘福寺，請「辯機」主持，比拚佛法。