李林甫淫威暴肆，就连其子将军监李岫都有些忧虑。一日陪其游后园。李岫指着役夫对李林甫说：“大人久处钓轴，怨仇满天下，一朝祸至，欲为此得乎！”其子都预感到李林甫将来不会有好结果，大祸临头时说不定还不及一个役夫呢。由此可以看出，李林甫的罪恶是多么深重。李林甫听了，当然不高兴，说：“势已如此，将若之何。”
李林甫心里非常清楚，他结怨甚众，每每担心遭刺客暗算。所以，他一改先前宰相“驺从不过数人”的旧制，而是“出而百余人为左右翼，金吾静街，前驱在数百步外，公卿走避”。晚上在自己家里睡觉，他的心里也不踏实，弄得神出鬼没，“居则重关复壁，以石瓷地，墙中置板，如防大敌。一夕屡徙床，虽家人莫知其处。”李林甫甚至连家人都防范，其内心虚弱到了极点。
确实，李林甫已危机四伏。首先是他的亲信党羽已在暗中活动，准备倒戈。户部郎中吉温是李林甫最得力的打手，吉温见安禄山深受宠幸，便依服之，并与其约为兄弟。吉温直言不讳地对安禄山说：“李右丞相虽以时事亲三兄，不必肯以兄为相；温虽蒙驱使，终不得超擢。兄若荐温于上，温即奏兄堪大任，共排林甫出之，为相必矣。”当初，李林甫以为容易制服而引以为相的陈希烈，也开始与李林甫为敌。杨国忠与李林甫更是针尖对麦芒。不久，杨国忠状告李林甫与蕃将阿布思有异谋。陈希烈等从旁作证，玄宗“由是疏林甫”。李林甫“时已有疾，忧懑不知所为”。天宝十一载（752年）十一月，李林甫结束了他罪恶的一生。
翌年正月，李林甫尚未下葬，杨国忠和安禄山合谋，告李林甫与阿布思谋反。安禄山还让阿布思所部的降将来朝作证，说李林甫与阿布思约为父子。玄宗信而不疑，“下吏按问”，李林甫的女婿谏议大夫杨齐宣怕受牵连，便按照杨国忠的意图出了证言。二月，玄宗决定：“剥削林甫官爵；子孙有官者除名，流岭南及黔中”，并“剖林甫棺，抉取含珠，及金紫，更以小棺如庶人礼葬之。”
恶贯满盈的李林甫，终于落了个众叛亲离，死后亦难逃惩罚的下场。
安史之乱后，玄宗逃到四川避难时，给事中裴士淹很得宠。一次，谈论起宰相，历评十余人，玄宗皆以为胜任。当谈论到李林甫时，玄宗说：“是子妒贤嫉能，举无比者。”裴士淹问：“陛下诚知之，何任之久耶？”玄宗默然无语。
裴士淹问得好！是呀，李林甫不学无术，只会固宠市权，何以为相十九年，并且深受恩宠，备受重用呢？固然，李林甫善于权术，尤善口蜜腹剑，求官保位有方。但是，玄宗皇帝在天宝年间，“君王从此不早朝”，恐怕是姑息养奸的直接原因吧！