正當瓦崗軍勝利發展的時候，內部發生了嚴重分裂。翟讓把首領位子讓給李密後，李密的部下攛掇他除掉翟讓。李密為了保自己的地位，竟起了狠心，把翟讓殺了。打那時候起，瓦崗軍開始走了下坡路。但是，北方由李淵帶領的一支反隋軍卻正在強大起來。
李淵本來是隋王朝的貴族，靠繼承祖上的爵位，當上了唐國公。公元617年，隋煬帝派他到太原去當留守（官名），*農民起義，開始他也打過幾個勝仗，後來看到起義軍越打越強，越打越多，他也感到緊張起來了。
正好在這個時候，太原北面的突厥（我國古代北方民族之一）可汗進攻馬邑。李淵派兵抵抗，連接打敗仗。李淵怕這件事給隋煬帝知道了，要追究他的責任，急得不知道該怎麼辦。李世民抓住這個機會，就找李淵勸他起兵反隋。
李淵猶豫了許多時候，才派人備了一份厚禮，到突厥可汗那裡講和，約他一起反隋。突厥可汗覺得這樣做對他們有好處，就答應幫助李淵。
李淵正式起兵反隋。自稱大將軍，派李建成和李世民分別做左右領軍大都督、劉文靜做司馬，又把兵士都稱為「義士」。他們帶領三萬人馬離開晉陽，向長安進軍。一路上繼續招募人馬，並且學農民起義軍的做法，打開官倉發糧給貧民。這樣一來，應募的百姓就越來越多了。在關中的農民軍的配合下，李淵大軍順利渡過黃河。留在長安的李淵的女兒也招募了一萬多人馬，號稱「娘子軍」，響應唐軍進關。
李淵集中了二十多萬大軍攻打長安。守在長安的隋軍，要想抵抗也沒用了。李淵攻下了長安。公元618年夏天，隋煬帝被殺，李淵即位稱帝，改國號為唐。這就是唐高祖。