天宝四年九月五日，以陕郡太守、江淮租庸转运使韦坚为刑部尚书，罢其诸使之职，以御史中丞杨慎矜代之。韦坚妻姜氏是姜皎之女，与李林甫为姑表亲，所以林甫起初与之亲密。可是后来韦坚通漕运有宠于圣人，遂有入相之志，偏偏韦坚又与李适之相好，于是李林甫恶之，虽迁以美官，实夺其权。
李隆基以户部郎中王鉷为户口色役使，敕赐免百姓租庸调。而王鉷奏请征其运送之费，扩大钱数，又使各地市其本郡精美货物，所以百姓所输多于不免之数。
按旧制，戌边者免其租庸，六年而复之。此时边将征战，耻于言败，士卒战死者皆不申牒，所以籍贯不除。王鉷一心聚敛，以有籍无人者皆视为避课，按籍戍边六年以后，一律征其租庸，有的连征三十年，使得百姓苦不堪言却无处诉苦。
李隆基在位日久用度日多，奢侈成风，后宫赏赐无节制，不欲于左、右藏库取之。王鉷探知圣人之意，乃岁贡额外钱帛百亿万，贮藏于内库，以供宫中宴会赏赐。这还不算，还向圣人奏：“此钱帛皆不出于租庸调。”
王鉷此举使得李隆基大喜，皆以为大唐已是真正的富有四海，于是所过更加的奢华无度。
王鉷虽务为盘剥百姓以求媚邀宠，导致天下百姓怨声载道，而皇城之外的声音却是入不了圣人的耳，还使得李隆基认为鉷有富国之能，待之益厚，十一月二十三日，以王鉷为御史中丞、京畿道采访使。
天宝四年的除夕夜，长安城里的纸醉金迷，已经掩盖不了天下百姓渐入苦意，盛极而衰，徒之奈何？
时间进入了天宝五年，李林甫排除异己的手段愈发的残酷，不断的兴起大狱。
天宝五年正月，与太子李享交好的陇右节度使皇甫惟明兼领河西节度使，从驻地来到京师长安，向圣人进献对吐蕃作战中的战利品。
皇甫惟明在李隆基的赞誉下头脑一热，就向圣人明确表达了应当将李林甫撤职的态度，又大加赞誉韦坚的才干。
边关重将皇甫惟明的介入，使李林甫跟太子之间原本处于暗中的较量一下子成为公开的秘密。
李林甫在得悉了皇甫惟明的密奏后，便利用宰相的有利身份，开始布置反击并加快了扳倒太子李享的行动。
李适之性情粗率，李林甫就使人告知：“华山有金矿，采之可以富国，但圣人不知此事。”
李适之闻之大喜，就火急火燎的奏言于圣人，圣人更是大喜就即问于李林甫，李林甫见李适之中计，立即道：“启奏圣人，此事老臣早巳知晓，只因为华山是圣人的本命所在，不宜于开采，所以不敢建言。”
李隆基了李林甫所言，大赞李林甫之细心周密，同时斥责李适之虑事不熟，更是直接对李适之道：“自今以后奏事，应先与李林甫议之，不要轻率地建言。”
李适之经过李林甫这么一顿敲打，对李林甫惧意大起，也失去了圣人的恩宠。
李适之失去圣人的恩宠，而太子李亨的妻兄韦坚失权，同病相怜之下二人往来更加亲密。起初圣人立忠王李玙为太子，就不合李林甫心意，李林甫害怕以后与自己不睦的李亨（已从李玙改为李亨），所以常常有动摇太子之心。
天宝五年的上元节，风清月朗，千牛卫将军张博携带着妻儿出游长安城，赏花灯，恰巧遇到了太子李亨出游。对于张博这位少年成名的猛将，李亨可是很有好感，当当上太子之后，也是产生了如同之前的废太子李瑛般的想法，要将张博收入麾下，奈何一直找不到时机！
如今太子李亨的处境，并不比当初李瑛的处境好，相反更是不好。张博不想陷入漩涡中，更知道在现在的处境下，要是跟李亨相好，那么对谁都没有好处。
对于张博只是向自己行礼，随之而去，李亨也是理解的，只好笑笑继续逛着灯市。
张博接着不久又遇到了皇甫惟明和韦坚，皇甫惟明毕竟也是老上司，又有一同作战的情谊，况且当初任河源都督的时候待自己还不错，也就先行礼问安，在交谈几句。
分别时，韦坚突然问道：“张将军，可曾见到太子殿下？”
张博一愣，身边的长子张风却道：“太子殿下在前面不远！”
张风不会知道，自己的这一句话所带来的后果…
李享也只是跟赶来的皇甫惟明和韦坚一起看了一个花灯，交谈了几句就分开了。之后韦坚又与皇甫惟明一同前往位于城内崇仁坊中的景龙道观。
以二人太子妃兄与边镇节帅的身份，夜间相约，私相往来，势必会给宰相李林甫以可乘之机。果然，这一次和太子三人同游灯市，又私下约谈，没有逃出李林甫的暗中监视。
李林甫立即要御史中丞杨慎矜上奏，以韦坚乃皇亲国戚，不应与边将“狎昵”为由对韦坚提出弹劾。李林甫则向李隆基奏称：“欲共立太子。”
李隆基就是利用政变上位，废太子李瑛、鄂王李瑶和光王李琚三个亲儿子只是被武惠妃诬陷，就毫不犹豫的废除杀害，最无法容忍的就是臣子的图谋不轨。
于是李隆基眉头都不皱一下就毫不犹豫地下诏进行审讯。李林甫得旨，遂指使手下罗织罪状，想把太子牵扯进来。李隆基虽然也怀疑韦坚与皇甫惟明有构谋之心，却不想轻易涉及太子，毕竟“三庶之祸”的教训太深刻了。
一下子干掉三个儿子，史上的帝王中毕竟不多见。
李隆基不想把韦坚案扩大化，要求立即结案，遂给韦坚定了“干进不已”的罪名，将他由刑部尚书贬为缙云郡（今属浙江）太守，皇甫惟明则以“离间君臣”的罪名，解除河西、陇右节度使的职务，贬为播川郡（治今贵州遵义）太守，并籍没其家。
这一处理，只是限于惩治韦坚、皇甫惟明的个人过失，并未有任何针对太子李亨之处。皇甫惟明的兵权则移交给朔方、河东两道节度使王忠嗣。