元和十四年再加检校吏部尚书，因得罪宠臣皇甫镈，只被任命为河中观察使，元和十五年皇甫镈获罪被贬，李绛重任兵部尚书，新即位的唐穆宗李恒任命李绛御史大夫。
唐穆宗沉湎于游猎巡幸，李绛在延英殿极力劝谏，穆宗都未予采纳，李绛借病辞职，再次担任兵部尚书。
长庆元年转任吏部尚书，同年，加授检校尚书右仆射，判东都尚书省事，充任东都留守。
长庆二年正月，改任兖州刺史、兖海节度观察等使，仍任检校尚书右仆射。次年，再任东都留守，长庆四年于洛阳被加授为检校司空。
唐敬宗宝历元年入朝任尚书右仆射，宝历二年九月，昭义节度使刘悟去世，临终留表请求让其子刘从谏袭任节度使。
李绛秘密奏请立即任命靠近昭义军的一位大臣充任节度使，令其兼程赴镇，以疾雷不及掩耳之势迫使刘从谏来不及抗命，只能听命朝廷。
但此时宰相李逢吉、宦官王守澄已受刘从谏贿赂，都奏请让他任昭义节度留后，所以唐敬宗不能采纳李绛的主张。
李绛奉行正道，在当时颇有名望，但他性格刚直、嫉恶如仇，对待贤者与不肖之人态度判然有别，因此屡遭他人忌恨。
一次，李绛与御史中丞王播相遇道中，王播未避让他，李绛上奏论说事理，敬宗命门下、中书两省详议，群臣都支持李绛，但李逢吉庇护王播而厌恶李绛，便罢免他仆射之职，改授为太子少师，分司东都。
宝历二年十二月，唐文宗李昂即位，召李绛为太常卿，次年七月，进封魏国公，唐文宗大和二年以检校司空衔出任兴元尹、山南西道节度使，累封为赵郡公。
大和三年冬，南蛮进犯蜀地，李绛奉诏赴西蜀救援。他在山南西道招募兵卒千人赴蜀，行至中途，蛮军已退，所募兵卒都返回。
山南的兵额素来有规定，招募的兵卒应该全部退伍回家，大和四年二月十日，李绛晨起理事，召集募卒，说根据诏令遣返他们，依例发给粮饷，募卒一个个怏怏而退。
监军使杨叔元贪财恃宠，怨恨李绛不奉敬自己，于是趁募卒嫌赏赐微薄、众口喧嚷之际，煽动募卒作乱，以泄私愤。
募卒喧噪聚集涌向府署，劫夺库中兵器冲入使衙。李绛正与幕僚会宴，来不及防备，听说叛乱立即北逃，登上女墙，衙将王景延力战抵御乱兵，最终力竭战死。
左右将校请李绛缒城出逃，被他拒绝。李绛随即与幕僚赵存约、薛齐一同遇害，终年六十七岁。
十三日，杨叔元谎奏李绛收取新军士卒赏赐钱物，以致兵乱被杀。而三高官官为李绛诉冤，谏议大夫孔敏行奏呈杨叔元激怒乱兵事实，文宗方知真相，册赠李绛为司徒，谥号贞。
并赐其家属布帛三千段、米粟二百石，尚书右丞温造奉命出任山南西道节度使，定计诛杀乱兵八百余人，囚禁杨叔元。
温造将手刃李绛的人，剁为肉酱，并将发布杀害李绛命令的人，处以极刑，取一百首级祭奠李绛，三十首级祭奠王景延等人，其余的全部投入汉江。
杨叔元最终被流放康州，时人以温造不杀杨叔元为遗恨，大中二年李绛本拟与李岘等三十七人共绘像于凌烟阁，但他的画像最终被唐宣宗留在宫中。
李绛潜心匡时济世，屡屡上疏，常以唐玄宗先治后乱的历史经验为借鉴，用治生于忧危，乱生于放肆的道理劝谏宪宗，劝其选贤举能，任贤政治，并提出贤则当任，任则当久的主张。
他任宰相期间，曾多次建议唐宪宗削藩平党，并积极参与谋划，利用藩镇内部矛盾，使魏博节度使田兴听命朝廷，在一定程度上消弱了藩镇势力。
李绛喜实厌虚，在朝勇于犯颜直谏，他曾说身居国家重要职位，只图惜身不敢直谏，是臣辜负于君王。
若臣子为国为民不看圣上脸色说话，敢于做出不顺从圣上的事，而被治罪，是圣上负于臣子。
宪宗听罢很受感动，说道卿告朕以人所难言者，疾风知劲草，卿当之矣，李绛还反对大臣无原则奉迎上意，粉饰太平，为此，常与人争辩殿上。
宪宗曾称赞道李绛绛言骨鲠，真宰相也，李绛在任华州剌史时，还禁止猎捕鸟兽，以保护自然生态。
唐宪宗元和三年权宦吐突承璀要整修安国寺。他依仗权势，擅自立了一个《圣政碑》，并请求翰林为其撰写碑文。
时任知制诰的李绛听到消息后，立即向宪宗上奏，直斥功德碑的弊端，陛下布维新之政，划积习之弊，行前王所不能行，革历代所不能革，四海延颈，日望德音。
今忽自立碑，以示天下不广，彰满假之渐，招矜炫之讥耶，陛下治国很有成就，有目共睹，却要立功德碑，自我炫耀，难道是想招来天下的讥笑吗？
圣德、皇猷岂是能用一块碑几行字所能概括的，如果真要立碑，反而有损形象，高祖、太宗创开元、贞观盛世，也未立碑，难道陛下的功德还能超过先祖吗？
尧、舜、禹、汤、文、武，皆无立碑之事，历史上只有秦始皇游泰山立过碑，为百王所笑，万代所讥，史称为失道亡国之主，岂能追秦皇暴虐不经之事，而自损圣德？
何况此碑在安国寺内，碑文本应记载与寺院有关的内容，如记载陛下的功德，实在是不伦不类，请陛下特令罢修。
宪宗览奏后，不好发作，只好说李绛是忠臣，命人把碑拽倒，吐突承璀当时正在旁边，不高兴地说碑体积太大，恐怕拽不倒，慢慢拆吧，实际上是心存侥幸，想暂缓执行。
没想到宪宗正在气头上，听罢即厉声喝道拽不倒就多用几头牛拽，吓得吐突承璀再也不敢吱声，只好动用了一百头牛，把自己费尽心机立起来的碑拽倒了。
李绛有文集二十卷及论事集二卷，今存《李相国论事集》、《李深之文集》等。
他平生好医，在闲暇时曾编集《兵部手集方》三卷，可惜早已亡佚，《全唐诗》录其诗两首、联句两首，《全唐文》录其文两卷。