李绛出身赵郡李氏东祖房。唐德宗贞元八年（792年），李绛中进士，登博学宏词科，授秘书省校书郎。任满后，补任渭南县尉。贞元（785年—805年）末年，拜监察御史。
元和二年（807年）以本职充任翰林学士。不久，改授尚书主客员外郎。次年，调任司勋员外郎。元和五年（810年），升司勋郎中、知制诰。李绛在朝任职勤勉，以匡救劝谏为己任。
元和六年（811年）拜相，为中书侍郎，同中书门下平章事。
元和八年（813年），封高邑县男。李绛因足疾上章请求免职，至次年，被免知政事，授礼部尚书。
元和十年（815年），加检校户部尚书，出任华州刺史。不久，入朝任兵部尚书。后遭逢母亲去世，李绛离职为母服丧。元和十四年（819年），再加检校吏部尚书，因得罪宠臣皇甫镈，只被任命为河中观察使（本应授为节度使）。
元和十五年（820年），皇甫镈获罪被贬，李绛重任兵部尚书。新即位的唐穆宗李恒任命李绛为御史大夫。
穆宗沉湎于游猎巡幸，李绛在延英殿极力劝谏，穆宗都未予采纳。李绛借病辞职，再次担任兵部尚书。
长庆元年（821年），转任吏部尚书。同年，加授检校尚书右仆射，判东都（洛阳）尚书省事，充任东都留守。
长庆二年（822年）正月，改任兖州刺史、兖海节度观察等使，仍任检校尚书右仆射。次年，再任东都留守。
长庆四年（824年），于洛阳被加授为检校司空。
唐敬宗宝历元年（825年），入朝任尚书右仆射。
宝历二年（826年）九月，昭义节度使刘悟去世，临终留表请求让其子刘从谏袭任节度使。李绛秘密奏请立即任命靠近昭义军的一位大臣充任节度使，令其兼程赴镇，以“疾雷不及掩耳”之势迫使刘从谏来不及抗命，只能听命朝廷。但此时宰相李逢吉、宦官王守澄已受刘从谏贿赂，都奏请让他任昭义节度留后（实际控制了昭义军），所以敬宗不能采纳李绛的主张。
李绛奉行正道，在当时颇有名望。但他性格刚直、嫉恶如仇，对待贤者与不肖之人态度判然有别，因此屡遭他人忌恨。一次，李绛与御史中丞王播相遇道中，王播未避让他。李绛上奏论说事理，敬宗命门下、中书两省详议，群臣都支持李绛。但李逢吉庇护王播而厌恶李绛，便罢免他仆射之职，改授为太子少师，分司东都。
宝历二年（826年）十二月，唐文宗李昂即位，召李绛为太常卿。
大和二年（828年），以检校司空衔出任兴元尹、山南西道节度使，累封为赵郡公。
大和三年（829年）冬，南蛮进犯蜀地，李绛奉诏赴西蜀救援。他在山南西道招募兵卒千人赴蜀，行至中途，蛮军已退，所募兵卒都返回。
山南的兵额素来有规定，招募的兵卒应该全部退伍回家。大和四年（830年）二月十日，李绛晨起理事，召集募卒，说根据诏令遣返他们，依例发给粮饷，募卒一个个怏怏而退。监军使杨叔元贪财恃宠，怨恨李绛不奉敬自己，于是趁募卒嫌赏赐微薄、众口喧嚷之际，煽动募卒作乱，以泄私愤。募卒喧噪聚集涌向府署，劫夺库中兵器冲入使衙。李绛正与幕僚会宴，来不及防备。听说叛乱立即北逃，登上女墙，衙将王景延力战抵御乱兵，最终力竭战死。左右将校请李绛缒城出逃，被他拒绝。李绛随即与幕僚赵存约、薛齐一同遇害，终年六十七岁。十三日，杨叔元谎奏李绛收取新军士卒赏赐钱物，以致兵乱被杀。而三省长官为李绛诉冤，谏议大夫孔敏行奏呈杨叔元激怒乱兵事实，文宗方知真相，册赠李绛为司徒，谥号“贞”。并赐其家属布帛三千段、米粟二百石。
尚书右丞温造奉命出任山南西道节度使，定计诛杀乱兵八百余人，囚禁杨叔元。温造将手刃李绛的人，剁为肉酱；并将发布杀害李绛命令的人，处以极刑。取一百首级祭奠李绛，三十首级祭奠王景延等人，其余的全部投入汉江。杨叔元最终被流放康州（今广东德庆），时人以温造不杀杨叔元为遗恨。
大中二年（848年），李绛本拟与李岘等三十七人共绘像于凌烟阁，但他的画像最终被唐宣宗留在宫中。
