初，上自东都还，李林甫知上厌巡幸，乃与牛仙客谋增近道粟赋及和籴以实关中。数年，蓄积稍丰。上从容谓高力士曰：“朕不出长安近十年，天下无事，朕欲高居无为，悉以政事委林甫，何如？”对曰：“天子巡狩，古之制也。且天下大柄，不可假人；彼威势既成，谁敢复议之者！”上不悦。力士顿首自陈：“臣狂疾，发妄言，罪当死！”上乃为力士置酒，左右皆呼万岁。力士自是不敢深言天下事矣。