李綱，字文紀，觀州蓨人也。祖元則，後魏清河太守。父制，周車騎大將軍。綱少慷慨有志節，每以忠義自許。初名瑗，字子玉，讀《後漢書-張綱傳》，慕而改之。周齊王憲引為參軍。宣帝將害憲，召僚屬證成其罪，綱誓之以死，終無撓辭。及憲遇害，露車載屍而出，故吏皆散，唯綱撫棺號慟，躬自埋瘞，哭拜而去。
隋開皇末，為太子洗馬。皇太子勇嘗以歲首宴宮臣，左庶子唐令則自請奏琵琶，又歌《武媚娘》之曲。綱自勇曰：「令則身任宮卿，職當調護，乃於宴座自比倡優，進淫聲，穢視聽。事若上聞，令則罪不測，豈不累於殿下？臣請遽正其罪。」勇曰：「我欲為樂耳，君勿多事。」綱趨而出。及勇廢黜，文帝召東宮官屬切讓之，無敢對者。綱對曰：「今日之事，乃陛下之過，非太子罪也。勇器非上品，性是常人，若得賢明之士輔導之，足堪繼嗣皇業。方今多士盈朝，當擇賢者居其任，奈何以絃歌鷹犬之才侍側，至令致此？乃陛下訓導不足，豈太子之罪耶！」辭氣凜然，左右皆為之失色。文帝曰：「令汝在彼，豈非擇人？」綱曰：「臣在東宮，非得言者。」帝奇其對，擢拜尚書右丞。時左僕射楊素、蘇威當朝用事，綱每固執所見，不與之同，由是二人深惡之。會遣大將軍劉方誅討林邑，楊素言於文帝曰：「林邑多珍寶，自非正人不可委。」因言綱可任，文帝以為行軍司馬。劉方承素之意，屈辱綱，幾至於死。及軍還，久不得調。後拜齊王府司馬。未幾，蘇威復令綱詣南海應接林邑，久而不召。綱後自來奏事，威復言綱擅離所職，以之屬吏。綱見善卜者，令筮之，遇《鼎》，因謂綱曰：「公易姓之後，方可得志而為卿輔。宜早退；不然，有折足之敗也。」尋會赦免，屏居於鄠。
大業末，賊帥何潘仁以綱為長史。義師至京城，綱來謁見。高祖大悅，授丞相府司錄，封新昌縣公，專掌選。高祖踐祚，拜禮部尚書，兼太子詹事，典選如故。
先是，巢王元吉授并州總管，於是縱其左右攘奪百姓，宇文歆頻諫不納，乃上表曰：「王在州之日，多出微行，常共竇誕遊獵，蹂踐谷稼，放縱親暱，公行攘奪，境內獸畜，取之殆盡。當衢而射，觀人避箭以為笑樂。分遣左右，戲為攻戰，至相擊刺疻傷致死。夜開府門，宣淫他室。百姓怨毒，各懷憤歎。以此守城，安能自保！」元吉竟坐免。又諷父老詣闕請之，尋令復職。時劉武周率五千騎至黃蛇嶺，元吉遣車騎將軍張達以步卒百人先嘗之。達以步卒少，固請不行。元吉強遣之，至則盡沒於賊。達憤怒，因引武周攻陷榆次，進逼并州。元吉大懼，紿其司馬劉德威曰：「卿以老弱守城，吾以強兵出戰。」因夜出兵，攜其妻孥，棄軍奔還京師，并州遂陷。高祖怒甚，謂綱曰：「元吉幼小，未習時事，故遣竇誕、宇文歆輔之。強兵數萬，食支十年，起義興運之資，一朝而棄。宇文歆首畫此計，我當斬之。」綱曰：「賴歆令陛下不失愛子，臣以為有功。」高祖問其故，綱對曰：「罪由竇誕不能規諷，致令軍人怨憤。又齊王年少，肆行驕逸放縱，左右侵漁百姓，誕曾無諫止，乃隨順掩藏，以成其釁，此誕之罪。宇文歆論情則疏，向彼又淺，王之過失，悉以聞奏。且父子之際，人所難言，歆言之，豈非忠懇？今欲誅罪，不錄其心，臣愚竊以為過。」翌日，高祖召綱入，升御坐謂曰：「今我有公，遂使刑罰不濫。元吉自惡，結怨於人。歆既曾以表聞，誕亦焉能制禁？」
時高祖拜舞人安叱奴為散騎常侍，綱上疏諫曰：「謹案《周禮》，均工、樂胥不得預於仕伍。雖復才如子野，妙等師襄，皆身終子繼，不易其業。故魏武使禰衡擊鼓，衡先解朝服，露體而擊之，雲不敢以先王法服為伶人之衣。雖齊高緯封曹妙達為王，授安馬駒為開府，既招物議，大絜彝倫，有國有家者以為殷鑒。方今新定天下，開太平之基。起義功臣，行賞未遍；高才碩學，猶滯草萊。而先令舞胡，致位五品；鳴玉曳組，趨馳廊廟，顧非創業垂統貽厥子孫之道也。」高祖不納。尋令參詳律令。
綱在東宮，隱太子建成初甚禮遇。建成常往溫湯，綱時以疾不從。有進生魚於建成者，將召饔人作鱠。時唐儉、趙元楷在座，各自讚能為鱠，建成從之，既而謂曰：「飛刀鱠鯉，調和鼎食，公實有之；至於審諭弼諧，固屬於李綱矣。」於是遣使送絹二百匹以遺之。建成後漸狎無行之徒，有猜忌之謀，不可諫止。又思筮者之言，頻乞骸骨。高祖漫罵之曰：「卿為潘仁長史，何乃羞為朕尚書？且建成在東宮，遣卿輔導，何為屢致辭乎？」綱頓首陳謝曰：「潘仁，賊也，誠在殺害，每諫便止，所活極多，為其長史，故得無愧。陛下功成業泰，頗自矜伐，臣以凡劣，才乖元凱，所言如水投石，安敢久為尚書？兼以愚臣事太子，所懷鄙見，復不探納，既無補益，所以請退。」高祖謝曰：「知公直士，勉弼我兒。」於是擢拜太子少保，尚書、詹事並如故。綱又上書諫太子曰：「綱耄矣，日過時流，墳樹已拱，幸未就土，許傅聖躬，無以酬恩，請效愚直，伏願殿下詳之。竊見飲酒過多，誠非養生之術。且凡為人子者，務於孝友，以慰君父之心，不宜聽受邪言，妄生猜忌。」建成覽書不懌，而所為如故。綱以數言事忤太子旨，道既不行，鬱鬱不得志。武德二年，以老表辭職，優詔解尚書，仍為太子少保。高祖以綱隋代名臣，甚加優禮，每手敕未嘗稱名，其見重如此。
貞觀四年，拜太子少師。時綱有腳疾，不堪踐履，太宗特賜步輿，令綱乘至閣下，數引入禁中，問以政道。又令輿入東宮，皇太子引上殿，親拜之。綱於是陳君臣父子之道、問寢視膳之方，理順辭直，聽者忘倦。太子每親政事，太宗必令綱及左僕射房玄齡、侍中王珪侍坐。太子嘗商略古來君臣名教竭忠盡節之事，綱凜然曰：「托六尺之孤，寄百里之命，古人以為難，綱以為易。」每吐論發言，皆辭色慷慨，有不可奪之志。及遇疾，太宗遣尚書左僕射房玄齡詣宅存問，賜絹二百匹。五年卒，年八十五。贈開府儀同三司，謚曰貞。太子為之立碑。初，周齊王憲女孀居孑立，綱自以齊王故吏，贍恤甚厚。及綱卒，其女被發號哭，如喪所生焉。
子少植，隋武陽郡同功書佐，先綱卒。少植子安仁，永徽中為太子左庶子。屬太子被廢，歸於陳邸，宮僚皆逃散，無敢辭送者，安仁獨涕泣拜辭而去，朝野義之。後卒於恆州刺史。