三年後的臘月，李世民東征高麗不利班師，終於實現了駐蹕太原的心願。這一次，李世民在太原停留了兩個月，過了春節。太原的山水風物消除了他的疲憊，平復了他的心情。李世民赦令免除了并州當年參與太原首義的民戶兩年賦役，免除後來依附民戶一年賦役。在太原期間，李世民心情很好：「迴鑾游福地，極目玩芳晨」、「對此留余想，超然離俗塵」。
除夕之夜，李世民興致很高，召群臣守歲，並題詩一首：「四時運灰珀，一夕變冬春。送寒雨雪盡，迎歲早梅新。」詩為《於太原召群臣賜宴守歲》。其中灰珀是一種占氣候的器具。他在詩中感歎時光的流逝，並對新的一年充滿希望。正月二十六日，李世民還率群臣遊覽了晉祠。晉祠因山水秀美，在北魏時就已經成為了風景絕佳處。據說李世民在起兵前，曾到晉祠祭拜，祈求神靈保佑。現在故地重遊，李世民不禁觸景生情，欣然提筆仿王羲之的書法撰制了《晉祠之銘並序》碑文。這也是我國現存最早的行書之一。序文行文鏗鏘上口，引論古今，自如縱橫。此碑一出，即製成拓片，廣為流傳。唐還將其拓片作為珍貴禮物，饋贈外賓。
二十世紀五六十年代，郭沫若先生曾經參觀了《貞觀寶翰碑》，欣然賦詩：「太原公子自無雙，戎馬生涯未肯降！」
二玄武門之變
武德九年（626年）的六月初四，清晨起床後，李淵的心情很不好。每當這個時候，他總會讓宮人在北海池上準備好船隻，泛起舟來。儘管已經到了和幾位重臣在宮中議事的時間，李淵依然沒有起駕的意思。
昨天晚上，二兒子秦王李世民進宮來向李淵哭訴哥哥李建成，弟弟李元吉荒淫後宮、迫害自己的罪狀。幾年來，李淵一直被幾個兒子的明爭暗鬥糾纏，心力交瘁，卻要裝出若無其事、公平公正的樣子。這一回，李淵還是輕描淡寫地吩咐宮人明天一早將李建成、李元吉和幾位大臣召集來，共同商議，這才將哭哭啼啼的李世民勸走。
李淵坐在船上，望見水中自己鬚髮花白的倒影，長長地歎了一口氣。隱約中，這位老皇帝聽到臨湖殿四周傳來喊殺聲，疑慮起來。他用一貫輕描淡寫的態度吩咐岸上的小太監去查看情況，然後又繼續讓小船靜靜地在北海池上隨波逐流。
出去探聽情況的小太監還沒回來，臨湖殿方向先傳來了盔甲相撞的聲音，越來越清晰。李淵瞇著眼睛觀察。原來是很不討自己喜歡的一個將領——尉遲敬德手持長矛、全副戎裝地帶著一隊士兵匆匆趕來。李淵心中一驚。
尉遲敬德在湖邊立定，朗聲稟報說：「皇上，太子和齊王大逆不道，發動叛亂，秦王已將兩人就地正法。臣等怕陛下驚擾，特地前來護駕。」
李淵緩緩地放下雙槳，久久說不出話來。
李淵有22個兒子，卻絲毫沒有感受到父子親情。李淵的22個兒子分別是：「太穆皇后生隱太子建成及太宗、衛王玄霸、巢王元吉，萬貴妃生楚王智雲，尹德妃生酆王元亨，莫嬪生荊王元景，孫嬪生漢王元昌，宇文昭儀生韓王元嘉、魯王靈夔，崔嬪生鄧王元裕，楊嬪生江王元祥，小楊嬪生舒王元名，郭婕妤生徐王元禮，劉婕妤生道王元慶，楊美人生虢王鳳，張美人生霍王元軌，張寶林生鄭王元懿，柳寶林生滕王元嬰，王才人生彭王元則，魯才人生密王元曉，張氏生周王元方。」
在很多中國人看來，李淵似乎是幸福的。因為他的家族子孫枝繁葉茂。與宋高宗趙構、明憲宗朱見深和咸豐皇帝等人不同，李淵根本不用為絕嗣而苦惱。在封建社會，皇朝血統的延續被視為天下政治大事。李淵不僅擁有22個健康的兒子，而且更不乏出類拔萃的人選，他與正妻竇氏生育的四個兒子就算得上是人中之龍。長子李建成幫辦朝政，多有功勳，被立為太子；次子李世民四處征伐，戰功顯赫，被封為秦王；三兒子李玄霸武力超群，可惜早死；四子李元吉善使長矛，是軍中勇將，被封為齊王。這些能幹的兒子在大唐王朝的創建和鞏固過程中都發揮了重要作用，為父親李淵分擔了許多壓力。在許多中國古代的皇帝看來，李淵已經不是令人羨慕的對象了，簡直是招人妒忌。許多皇帝儘管不愁沒有兒子，但那些兒子不是不學無術，就是驕橫跋扈，沒有一個可用之才。更可憐的是晉朝的司馬家族，一連出現了兩個白癡皇帝（晉惠帝司馬衷和晉安帝司馬德宗）。也許在天堂裡，司馬家族正注視著地上的李淵，恨得牙根發癢。
但是李淵有李淵的難處，擁有一群能幹的兒子同樣讓他頭疼。如果這些兒子都謙恭禮讓，沒有權力慾，那就好辦了。可是面臨一步之遙的皇帝寶座，哪個做兒子的不怦然心動呢？更何況這些兒子都參與了打天下的過程，都有自己的想法、地盤和小集團。皇位只有一個，有能力、有野心爭奪它的兒子卻有一群。
在這麼多兒子當中，最先引起李淵注意的，或者說李淵最先喜歡上的人是二兒子李世民。
起初，忙於個人仕途的李淵對李世民並沒有特別地注意。大業十一年（615年），隋煬帝在雁門關被突厥圍困住了，徵召各地的軍隊勤王。李家也要出人參加勤王，李淵就讓17歲的二兒子李世民代表李家執行貴族的軍事義務，李世民就進入屯衛將軍雲定興的軍隊作戰。對於李家這樣世代勳貴的人家來說，派其中某個兒子去勤王是件小事，李淵也沒太放在心上。誰想這一去，李世民竟然一鳴驚人，大大長了李淵的面子。李淵自然是喜出望外，對李世民另眼相看。
李淵自己在隋末的仕途並不順暢。隋煬帝去揚州的時候，命李淵督軍在并州一帶清剿叛亂，防禦突厥。李淵在并州作戰直至出任晉陽留守之間，李世民是他唯一帶在身邊的兒子。長子李建成則帶著母親、弟弟和家人在河東地區居住避禍，為父親解除後顧之憂。李世民在晉陽期間，參贊軍務，招兵買馬，是李淵策動晉陽起兵反隋的核心參與者。在決定造反爭奪天下後，李淵緊急將李建成、李元吉等兒子都秘密召到晉陽共同起事。畢竟上陣不離父子兵。起兵之初，李淵以長子李建成為隴西公、左領軍大都督，統率左三軍；以李世民為敦煌公、右領軍都督，統率右三軍。這一回，李建成兄弟倆的角色發生了轉換，直到最後。李世民因為出色的軍事謀劃和衝鋒陷陣的能力，逐漸成為了李唐陣營的主要戰將，常年領兵在外；李建成則一直跟隨李淵身邊，負責軍中行政和後方事務。兄弟兩人各盡所長，書寫了不同的人生軌跡。
攻克長安後，李淵立隋煬帝孫代王楊侑為帝，改元義寧，是為恭帝。恭帝進封李淵為唐王，以李建成為唐王世子；李世民為京兆尹，改封秦國公；封李元吉為齊國公。義寧二年（618年）李世民徙封趙國公。三月，隋煬帝被殺。五月，李淵廢恭帝，自己即位，國號唐，建元武德，是為唐高祖。李淵以李世民為尚書令。不久，又立李建成為皇太子，封李世民為秦王，李元吉為齊王。
可以說，新朝建立後，李淵宣示的繼承人選是明確的，那就是李建成。一方面，李建成是嫡長子，是宗法制上的第一繼承人；另一方面，李建成經過長期的政治考驗，多有功勳，表現出了未來皇帝應有的素質。對於李世民，李淵以高官厚祿和軍事實權來補償，繼續讓二兒子常年在外征戰。李元吉則在家族起兵反隋，大軍入關後，留守太原。唐朝建立後的第二年（619年），劉武周南侵并州，李元吉無力抵抗，棄守晉陽逃歸長安。按律，李元吉要交朝廷嚴懲。李淵卻沒有懲處這個小兒子，只是加派軍隊收復太原了事。事實上，李淵對幾個兒子基本上是滿意的，兒子們一旦有什麼過錯，他也不進行實質性的懲罰，只責備幾句了事。
李淵可能也覺得自己在處理家庭問題上有點「蔫」，長期的政治鬥爭使他很少明確、強硬地表達自己真正的想法。李淵認為政治猶如流水，水到渠成，人不一定隨波逐流，但抽刀斷水也是辦不到的。事實上，在李淵的一生中，面臨的政治選擇餘地很小，他完全習慣於最後時刻在兩三個選擇面前作簡單的判斷。現實政治給予了這樣做的李淵巨大的回報，很自然地，李淵把對政治和決策的理解延伸到了對家庭事務的處理之中。他不僅不會樹立威嚴、強硬的父親形象，而且覺得在血肉相連的親人面前也沒有必要那麼做。遺憾的是，李家的兒子們不這麼想。
當李淵猛然清醒，希望執行嚴父職責的時候，卻發現兒子們各個羽翼已成，管不了了。這就是李淵晚年生活不如意的原因。
權力是個壞東西，強烈的權力慾能扭曲人性。李世民即使不是皇子，也會成為一個舉足輕重的權臣。經常出征的李世民逐步消滅各地割據勢力，威震天下。唐朝建立後，王朝的勢力範圍被局限在關中地區。秦王李世民破李軌，平定隴西割據勢力薛仁杲，將唐王朝疆界拓展到西北裡海；敗宋金剛、劉武周，收復並汾，恢復了李元吉丟掉的失地。李世民還親自指揮了虎牢關戰役，一舉殲滅中原兩大割據勢力——王世充和竇建德軍事集團，取得了唐朝統一戰爭的決定性勝利。毫不誇張地說，李淵的大半個天下都是李世民打下來的。李世民的威望直線上升，尤其是在虎牢關之戰後進入長安時，受到部分軍民以皇帝的禮儀迎接。
李世民奇跡般的成功給李淵出了難題。之前，他已經立李建成為太子，李世民為秦王，所以，這時他只能以更高的官職和特權來補償李世民的功勳。到武德四年（621年）冬，李世民已經被李淵封為天策上將、領司徒、陝東道大行台尚書令，食邑增至二萬戶，位在諸王之上，太子李建成之下。李淵又下詔特許李世民的天策府自置官屬，儼然形成一個微型的朝廷機構。武德八年（625年），李世民又兼任了中書令，成為宰輔，集軍權、行政權於一身。一方面，李世民已經位極人臣，沒有辦法再「進步」了；另一方面，「賊寇每平，眾人競求珍玩」，李世民「獨先收人物，致之幕府。及有謀臣猛將，皆與之潛相申結，各盡其死力。」李世民身邊文臣武將聚集，許多地方官員也投入到他的門下，形成了龐大的秦王集團。這些人投靠李世民，不是單純地被李世民的功績所吸引，而是希望靠著李世民這棵「大樹」，實現自己的「進步」。以洛陽為中心，潼關以東地區幾乎只聽李世民的號令。秦王權勢之大，終於引起了李淵的警覺。
到現在，李淵已經犯下了三大錯誤。第一，他過早地確立了太子，斷絕了以繼承權的分配來調整諸子矛盾，適應新的權力格局的可能性；第二，他雖然確認了李建成的太子地位，卻又放任李世民四處征伐，掌握越來越大的軍權，控制越來越多的地方政權，客觀上為自己確立的太子樹立了強大的對立面；第三，他一味地以高官實權來補償李世民，希望能平衡李世民的心理落差，實現權力結構的穩定。但是李世民志向高遠，隨著戰功的積累，日益不滿於現實地位。不斷落在自己身上的頭銜非但沒有平息李世民的不滿，相反還激發了他追逐更高地位的決心。可以說，第三點錯誤是李淵致命的錯誤，起到了「火上澆油」的作用。
太子李建成也不是等閒之輩，他要保衛自己的地位不受威脅。