開元年間的盛世繁華讓唐玄宗漸漸滋長了驕傲怠惰的情緒、追求起享樂的生活來。
宰相張九齡看到這種情況，心裡挺著急，常常給唐玄宗提意見，讓唐玄宗覺得很惱火，正好那時候有個大臣李林甫，是一個不學無術的人。他什麼事都不會，專學了一套奉承拍馬的本領。他和宮內的宦官、妃子勾結，探聽宮內的動靜。唐玄宗在宮裡說些什麼，想些什麼，他都先摸了底。等到唐玄宗找他商量什麼事，他就對答如流，簡直跟唐玄宗想的一樣。
唐玄宗覺得李林甫很能幹，比張九齡強多了，就想把他提為宰相，他跟張九齡商量這件事，張九齡直截了當地說：「宰相的地位，關係到國家的安危。陛下如果拜李林甫為相，只怕將來國家要遭到災難。」
這些話傳到李林甫那裡，李林甫把張九齡恨得咬牙切齒。
唐玄宗本來很尊重張九齡，但是到了後來，對張九齡的意見也聽不進去了。對於張九齡的建議，唐玄宗越來越覺得討厭，加上聽信了李林甫的誹謗，終於借個因頭撤了張九齡的職，讓李林甫當宰相。
李林甫一當上宰相，第一件事就是要把唐玄宗和百官隔絕，李林甫知道自己在朝廷中的名聲不好。凡是大臣中能力比他強的，他就千方百計地把他們排擠掉。他要排擠一個人，表面上不動聲色，笑臉相待，卻在背地裡暗箭傷人。
有一次，唐玄宗在勤政樓上隔著簾子眺望，兵部侍郎盧絢騎馬經過樓下。唐玄宗看到盧絢風度很好，隨口讚賞幾句。第二天，李林甫得知這件事，就把盧絢降職為華州刺史。盧絢到任不久，又被誣說他身體不好，不稱職，再一次降了職。像盧絢這樣遭到暗害的官員還真的不少。
李林甫當了十九年宰相，一個個有才能的正直的大臣全都遭到排斥，一批批鑽營拍馬的小人都受到重用提拔。但是，儘管李林甫裝扮得怎麼巧妙，他的陰謀詭計到底被人們識破。人們就說李林甫這個人是「嘴上像蜜甜，肚裡藏著劍」。口蜜腹劍的成語就來源於此。