靠玩弄权术窃取相权的李林甫，始终担心自己会被取而代之。所以，“凡才望功业出己右及为上所厚、势位将逼己者，必百计去之；尤忌文学之士，或阳与之善，或以甘言阴陷之。”
一天，玄宗陈乐于勤政楼，垂帘观望。兵部侍郎卢绚垂鞭按辔，经过楼下。卢绚风标清粹，玄宗目送良久，并“深叹其蕴藉”。李林甫经常“厚又金制赂上左右”，玄宗的举动必有人向李林甫通告。李林甫闻知此事后，担心卢绚会受到玄宗的重用，决意设计阻挠。翌日，李林甫召见卢绚之子，说：“尊君素望清崇，今交、广藉才，圣上欲以尊君为之，可乎？若惮远行，则当左迁；不然，则以宾、詹分务东洛，亦优贤之命也，何如？”卢绚害怕去交、广边远之地任职，上书请求派往宾、詹。李林甫“恐乖众望”，派其为华州刺史。卢绚到任不久，李林甫又“诬其有疾，州事不理”，被授太子员外詹事。卢绚并没与李林甫有隙，只因玄宗对其表示出欣赏之意，便平地起风波，中李林甫之计自寻遭贬，尔后便屡遭压制，直至被冷落在一边。李林甫害怕别人与己竞争，居然连皇帝赞誉他人一句都怕得要命，可见其心虚到何种程度。
不久，玄宗又向李林甫问起严挺之的情况，说：“严挺之今安在？是人亦可用。”严挺之原为中书侍郎，早年被李林甫排挤出京，现做绎州刺史。李林甫深惧严挺之。恐其重返京都，便召见严挺之的弟弟严损之，说：“上待君兄意甚厚，盖为见上之策，奏称风疾，求还京师就医。”李林甫虚假地以关心严挺之的面孔出现，唆使严挺之为其兄上奏谎称有病请求归京治疾。严挺之毫无戒备之心，反倒非常感激，并且依计行事，实际上是跳进了李林甫设下的陷阱。李林甫手持严挺之的奏表，对玄宗说：“挺之衰老得风疾，宜且授以散秩，使便医药。”不知究里者，谁都会觉得李林甫言之有理：既已衰老，且染风疾，给个闲官便于治病，又归京都，岂不在情在理？！玄宗听后，“叹叱久之”，只好授以詹事，令其“东京养疾”去了。李林甫就这样将严挺之挤于朝廷之外。
凡是玄宗意欲重用之人，李林甫都要加以压制和打击。汴州刺史、河南采访使齐瀚，“亦朝廷宿望”。故被李林甫忌之，亦与严挺之一样，落个“东京养疾”的下场。
天宝元年（742年），秋七月，牛仙客死。八月，以刑部尚书李适之为宰相。李林甫视其为竞争对手，便伺机加害。利用李适之性情疏率的特点，李林甫对其言道：“华山有金矿，采之可富国，主上未知之也。”隔了几日，李适之便将此事上奏玄宗。玄宗非常高兴，又问及李林甫。李林甫说：“臣久知之，但华山陛下本命，王气所在，凿之非宜，故不敢言。”玄宗听了，以为李林甫对自己忠心耿耿，而李适之“虑事不熟”，便对其说：“自从奏事，宜先与林甫议之，无得轻脱。”李适之从此便束手，渐渐被玄宗所疏远。李适之所奏，乃是受李林甫怂恿，而李林甫则又在玄宗面前一番花言巧语，将李适之陷于被动地位。