李林甫出身陇西李氏，自入仕后，从太子中允一直升迁到到御史中丞。
开元二十四年（736年），玄宗欲废太子李瑛、鄂王李瑶、光王李琚，召宰相张九龄、裴耀卿与李林甫商议。张九龄直言“太子国本，不可轻动”，裴耀卿亦附议，玄宗面露不悦。散会后，李林甫在宫中僻静处对宦官说：“此乃陛下家事，何必问外人？”这话玄宗知道后，深以为然，自开元盛世以来，玄宗不复即位之初的励精图治，贪恋享受，张九龄的据理力争在他眼中成了“迂腐”，而李林甫的话则格外入耳。
没过多久，玄宗以“不协时宜”为由，将张九龄、裴耀卿罢相，擢李林甫为中书令，正式拜相。当时左相李适之是太宗长子李承乾的孙子，出身尊贵且颇有才干，李林甫表面对其颇为忌惮，刻意讨好，其实暗怀阴谋，等待时机扳倒他，以便大权独揽。
一日，两人在政事堂闲聊，李林甫忽然凑近，语气诚恳：“适之兄，听闻华山有金矿，储量极丰，若能开采，可助国库充盈。此事陛下尚未知晓，兄若奏报，定能得陛下嘉奖。”李适之闻言大喜，他素来耿直，未察其中端倪，次日便在朝会上将华山金矿之事奏禀玄宗。玄宗听罢颇为心动，转头问一旁的李林甫：“此事当真？朕竟不知。”李林甫却缓缓躬身，语气凝重：“陛下，臣早已知晓华山有矿，只是华山乃陛下本命山，关乎龙脉气运，若贸然开采，恐伤国运，臣故而不敢奏报。”
玄宗一听“龙脉气运”，顿时脸色沉了下来，转头瞪了李适之一眼：“你身为左相，怎可不顾国运，只图财利？”李适之这才惊觉自己落入了李林甫的圈套，羞愧得哑口无言。此后，玄宗对李适之变得疏远，没过半年便将其罢为太子少保，李林甫自此独揽相权。
李林甫深谙厚黑之道，对政敌从不手软。韦坚是太子李亨的连襟，曾任陕郡太守，因主持漕运有功，深受玄宗赏识，渐有入相之势。李林甫对此颇为忌惮，便暗中设计。天宝四载（745年），韦坚奉诏与河西节度使皇甫惟明在长安会面，李林甫立刻让人奏报玄宗，称两人“私结太子，图谋不轨”。玄宗本就对太子与外臣交往心存芥蒂，当即下令将韦坚、皇甫惟明下狱。虽查无实据，却仍将韦坚贬为缙云太守，皇甫惟明贬为播川太守，后来又将两人赐死。太子李亨也因这事吓得与韦坚之妹韦妃离婚，才算逃过一劫。
杨慎矜曾是李林甫举荐的官员，因精通财赋，深得玄宗信任，官至御史中丞。李林甫见杨慎矜渐受重用，恐其日后威胁自己，便又生歹心。他暗中唆使御史中丞王鉷弹劾杨慎矜“私藏图谶，欲复辟隋室”，依据是杨慎矜的祖父曾是隋朝大臣。玄宗震怒，将杨慎矜下狱审讯，李林甫又让人伪造证据，最终杨慎矜被赐死，家人流放岭南。杨慎矜到死都没明白，自己昔日的“恩人”为何会对自己痛下杀手。
玄宗后期，大唐边疆战事频繁，节度使手握重兵，权力极大。按照惯例，边疆节度使若立有大功，往往会被召回朝廷任宰相，这让李林甫深感不安——他担心这些战功赫赫的边将会分走自己的权力。思来想去，李林甫终于想出了一个“万全之策”。
天宝六载（747年），李林甫向玄宗上奏：“文士为将，多怯于战阵，若遇强敌，恐误国事。不如用寒族、蕃人为节度使，蕃人善战，寒族无党援，更易控制。