等到虞允文他們進城之後，這個消息更是已經傳得沸沸揚揚，大家面面相覷，臉色都不太好看。：但是虞允文並沒有放棄，而是決定按原定計劃求見夏王李仁孝，「事情還沒定下來，就有挽回的餘地！你們想想，這些傳言都只是說金人來了，卻並沒有說西夏已經答應了啊。無論如何，絕不能讓金夏結成聯盟，如果那樣的話，收復中原就至少要多等十年時間，太長了！」
夏王李仁孝雖然年方弱冠，但親政已有多年，性格冷靜，處事老道。當初雖然被白瑩鈺的計策所利用，但李仁孝卻藉機除去了權臣任得敬，將大權全部抓到自己手中，如今的西夏國力蒸蒸日上，估計很快就能更勝從前。
面對西夏歷史上的第一明君，初次出使西夏的虞允文卻能應對自如，令李仁孝對其刮目相看。尤其是虞允文深厚的儒學修養，更是令酷愛儒學的李仁孝大感親近，而趙軍的可怕戰鬥力與趙抗守信的名聲也令其頗為心動。但是，金國畢竟現在還是天下（中華文化圈認為的天下）第一強國，而且兩國毗鄰，趙軍再強也是遠水解不了近渴，所以饒是虞允文說得天花亂墜，西夏最後還是決定保持中立。
不過虞允文私下裡對這個結果卻很滿意，「夏人短見，漢化雖然積極，卻都是表面文章，精華沒學到多少，糟粕則一樣不落。再加上夏王為人過分忍讓，厭惡兵事，西夏國雖能繁榮一時，卻不可能對我國構成多大的威脅。」
而且虞允文還成功地挑撥了金夏之間的關係，使得以後西夏幾乎不可能給予金國實質性的支援，這令他相當滿意。而在西夏短暫的逗留期間，虞允文還乘機記下了當地的地勢風土，為日後征服西夏做準備。
使命已經完成，虞允文他們自然是立即回國了，但他卻帶著大家折向西南，進入了漢人極少涉足的吐蕃境內，高原稀薄的空氣和寒冷的氣候固然麻煩，但大家身體強健，倒沒有一個病倒的。而姑娘們更害怕的是那毒辣的陽光，曬的時間稍長一點就會脫皮，好在虞允文會說吐蕃語，他從牧民處買到了一些毛皮外衣，足以遮蔽全身，姑娘們才不再叫苦連天。但是皮膚變黑是免不了的，她們都在討論，該用什麼方法從趙抗那裡弄來那種能讓皮膚白皙的藥膏
「大人，聽說您是天下少有的孝子，在家侍候母親十幾年，怎麼這您好像熟得很啊？」，一個女衛突然問道。
「母親得病是我二十三歲的時候，而我十八歲就開始遊歷天下以增長見識。我是四川人，家鄉離這裡並不遠，來過這不足為奇。畢竟如果要北伐中原、收復失地，西夏的力量還是很重要的。而且若真的有那一天，西夏這塊分裂出去的領土，也一定要設法收回，所以我在遊歷時，對西夏邊境一帶的地貌和風土都特別留意過。」
「可吐蕃您怎麼也這麼熟悉啊？漢人中間除了少數商人，很少有人會去那裡的。」，這個女衛不依不饒地繼續問道。
「當初學吐蕃語只是因為好奇，不過很快我就現，吐蕃地處高原，居高臨下，戰略地位極為重要。如果與我們敵對的話，會是一件相當頭痛的事，所以從此就對此地的事情特別上心。」，虞允文耐心答道。
「大人您可真是了不起，難怪陛下對您那麼看重呢！」，這些可不是女衛們在拍馬屁，這幾個月下來，虞允文的能力、人品與氣度已經贏得了她們衷心的敬佩。再加上虞允文儀表堂堂、前途遠大，本就是趙國很多女人心中的白馬王子，要不是虞允文的君子之風令人不敢過於親近，以女衛們的江湖作風，只怕已經有人主動投懷送抱了
俗話說這女人湊在一起，必然話多，何況是十八個女人呢？如今無事一身輕，而四周又看不到多少人煙，女衛們說起話來更是滔滔不絕，連虞允文也沒有辦法。
「大人您今年也三十多歲了，有孩子了吧。」，女人是很八卦的動物，很快就問到虞允文的家庭上去了。
「有兩個孩子，老大十歲了，小的才六歲。」，虞允文隨口答道。
「那他們的娘呢？一定是個大美人吧！」，虞允文由於為趙抗效力的時間太短，除了他是孝子這點外，大部分人對他的家庭狀況可以無所知。
「嗯，不過現在已經改嫁」，虞允文答道，眼中透出深深的憂傷。
「大人，對不起，我不該問這個問題的，讓你難過了」，那個提問的女衛忙不迭地道歉，嘴裡嘀咕道，「那個女人真是壞死了，大人您這樣的好男人天下少有，她居然不知道珍惜！」
虞允文卻搖搖頭，「不能怪她，其實她是一個好媳婦」，受不了女衛們好奇的追問，虞允文終於將他當年與妻子勞燕分飛的真相說了出來
據傳言說，虞允文的妻子是因為受不了服侍公婆的辛苦，再加上對虞允文因為母親身患重病而放棄功名一事不滿，才改嫁他人，其實並不是這樣。
「當初在母親得了那種怪病之後，連大夫都不願上門診治，她卻堅持服侍了七年之久而沒有過任何怨言，實在是天下少有的好妻子、好媳婦。」，虞允文漸漸回憶起了那段不堪回的往事。即使虞允文決定放棄科舉時，他的妻子雖然有些不理解，但還是支持他這麼做，虞允感激萬分。
可是，虞允文的妻子出身名門，當初他的岳父願意將女兒嫁給虞允文這個家世一般的書生，是因為看出他有遠大的前途。可是自從虞允文因為母親病重而放棄科舉之後，他的岳父對此極度不滿，覺得自己當初的投資全白費了，當時就要女兒改嫁。
不過虞允文夫妻伉儷情深，絕不願意就此分開，他的岳父後來又想到，反正虞允文的母親病勢沉重，想來也活不了幾天，等她一死虞允文便可以解脫。以他的才能，加上自己的提攜，要飛黃騰達那還不容易？於是，他的岳父就暫時忍耐了下來。可誰想在虞允文夫妻的精心照料下，虞允文的母親雖然病勢仍然一天天加重，可就是死不了，這一拖就是六年多過去了。
虞允文的岳父再也忍耐不下去了，終於向小夫妻倆出了最後通牒，說是他們再不分開，他就要不顧身份對虞家動手了！迫於無奈，夫妻倆只得含淚分開，從此那兩個兒子便都成了沒娘的孩子。而虞允文從此便一邊帶大孩子，一邊服侍父母，又堅持了六年。這六年裡，前來提親的都快把虞家的門檻踏壞了，但虞允文在這件事後已經心灰意冷，至今還是孑然一身