魏征曾經在太子建成手下幹過事，玄武門之變後，有人向秦王李世民告發魏征曾經勸說建成殺害秦王。秦王聽了，立刻派人把魏征找來。魏征見了秦王，不慌不忙地說：「可惜那時候太子沒聽我的話。要不然，也不會發生這樣的事了。」李世民聽了，覺得魏征說話直爽，很有膽識。
唐太宗即位以後，把魏征提拔為諫議大夫（官名），還選用了一批建成、元吉手下的人做官。唐太宗不記舊恨，選用人才，而且鼓勵大臣們把意見當面說出來。在他的鼓勵之下，大臣們也敢於說話了。特別是魏征，對朝廷大事，都想得很周到，有什麼意見就在唐太宗面前直說。唐太宗也特別信任他，常常把他召進內宮，聽取他的意見。
後來，魏征提的意見越來越多。他看到太宗有不對的地方，就當面力爭。有時候，唐太宗聽得不是滋味，沉下了臉，魏征還是照樣說下去，叫唐太宗下不了台階。
有一次，魏征在上朝的時候，跟唐太宗爭得面紅耳赤。唐太宗實在聽不下去，想要發作，又怕在大臣面前丟了自己接受意見的好名聲，只好勉強忍住。
長孫皇后知道後，回到自己的內室，換了一套朝見的禮服，向太宗下拜。說：「我聽說英明的天子才有正直的大臣，現在魏征這樣正直，正說明陛下的英明，我怎麼能不向陛下祝賀呢！」李世民如夢初醒，後來，他不但不記魏征的恨，反而誇獎魏征說：「人家都說魏征舉止粗魯，我看這正是他可愛的地方呢！」
公元*3年，直言敢諫的魏征病死了。唐太宗很難過，他流著眼淚說：「以銅為鏡，可以正衣冠；以古為鏡，可以知興替；以人為鏡，可以明得失，魏征一死，我就少了一面好鏡子了。」