玄宗欲用李林甫为相之时，曾向中书令张九龄征求过意见，张九龄说：“宰相系国安危，陛下相林甫，臣恐异日为庙社之忧。”玄宗没有听从。李林甫知道此事后，对张九龄非常恼恨。但是，张九龄“以文学为上所重”，李林甫对其虽恨，亦无可奈何。于是，善于伪装的李林甫将其怨愤深藏于心，表面上对其“曲意事之”。侍中裴耀卿与张九龄关系很好，因此李林甫对裴耀卿也非常恼恨。是时，玄宗在位已久，“渐肆奢欲，怠于政事。”每逢议事，无论大小，张九龄常与玄宗力争。李林甫则利用这个机会，“巧伺上意”，夺得玄宗的欢心，并想方设法中伤张九龄。
开元二十四年（736年）十月，玄宗巡游到东都洛阳，欲还长安，裴耀卿、张九龄说：“今农事未毕，请俟仲冬。”裴、张二相考虑到时值秋收大忙季节，皇帝若返驾归京，沿途迎送，势必影响秋收，所以建议玄宗推迟到初冬再归。待裴、张二相退去，李林甫装作脚疼，落在后面。玄宗问其故，李林甫说：“臣非疾也，愿奏事。二都本帝王东西宫，车驾往幸，何所待时？假令妨农，独赦所过租赋可也。”玄宗大悦，立即西还。
朔方节度使牛仙客，勤于政业，能节用度，仓库充实，器械精利。玄宗对其极为赞赏，欲拜其为尚书。张九龄反对，说：“不可。尚书，古之纳言，唐兴以来，惟相及扬历中外有德望者乃为之。仙客本河湟使典，今骤居哺要，恐朝廷改变主意，对牛仙客加以“实封”。张九龄依然反对，玄宗听后沉默无语。李林甫趁此机会，对玄宗说：“仙客，宰相材也，何有于尚书！九龄书生，不达大礼。”李林甫一番话，既博得了玄宗的欣悦，又进了张九龄的谗言，第二天，玄宗复又提出此事，张九龄固执如初。玄宗非常恼怒，变色道：“事皆由卿耶？”事后，李林甫向玄宗奏道：“天子用人，有何不可！”这话显然会进一步激怒玄宗，从而离间玄宗和张九龄的关系。
玄宗原来对赵丽妃、皇甫德仪、刘才人皆宠幸，丽妃生太子李瑛、德仪生鹗王李瑶，才人生光王李琚。待玄宗即位后，惟武惠妃专宠，惠妃所生寿王李瑁，在诸皇子中也最受宠爱。太子李瑛与李瑶、李琚也都居禁中，因为受到冷漠而常发怨语。驸马都尉杨洄是武惠妃的女婿，他经常刺探三位皇子的言行，并立即告秉惠妃。专宠的惠妃本来就想日后让自己的儿子李瑁登基称帝，便利用太子的怨言，诬陷太子，她哭泣着对玄宗说：“太子阴结党羽，将害妾母子，亦指斥至尊。”玄宗大怒，想要废掉太子及另两位王子，张九龄坚决反对，力陈不能废掉太子之理，最后说：“陛下必欲为此，臣不敢奉词。”玄宗非常不悦，李林甫当面不发表意见，背后却问玄宗宠幸的宦官说：“此主上家事，何必问外人！”其意甚明，既表白他是赞成废黜太子的，以取悦于玄宗和惠妃，又影射张九龄干预皇家私事。玄宗愈发不悦，李林甫乘机在玄宗面前日夜说张九龄的坏话，渐渐地，玄宗疏远了张九龄。
不久，张九龄、裴耀卿被罢政，李林甫取代张九龄为中书令。牛仙客升任相职。开元二十五年（737年）夏，监察御史周子谅上书弹“牛仙客非才，滥登相位”，结果是惨遭“杖之朝堂”，后又被流放氵襄州，至落田而死。李林甫趁机又进谗言，对玄宗说：“子谅，九龄所荐也。”玄宗又将张九龄贬为荆州史。李林甫终于达到了整治张九龄的目的。