李林甫听后，内心很不自在，因为卢绚与他的顶头上司，兵部尚书李适之关系很好，与李林甫不是同一路人。本来就讨厌他，现在听到皇上赞扬他，李林甫就更不高兴了，他认为唐玄宗对卢绚有好感，将来一定会重用他，那样会威胁到他的地位。
于是先下手为强，他开始想办法搜集他的反面证据，要搞掉他。人无完人，任何人，从反面角度都能找到许多缺点。他指使御史台向唐玄宗上奏卢绚的错误，说他不适合再继续担任兵部侍郎。
唐玄宗询问吏部，杨慎矜事先得到李林甫的嘱咐，不敢违背李林甫，按照他的要求上奏，说的与御史台的一致。
两个管官的部门，都认为卢绚有问题，唐玄宗只得让李林甫处理。李林甫便将卢绚降职为兴德郡太守，卢绚思想有抵触，向丞相兼兵部尚书李适之倾诉。李适之反对李林甫的做法，让卢绚上书。
唐玄宗将卢绚的奏折转给李林甫，李林甫将他放置一边，过了三个月后，再向唐玄宗上奏，说卢绚担任兴德太守的圣旨已经下了，不好更改，可以让卢绚先到兴德郡锻炼一段时间，政绩突出再调回朝廷重用。
唐玄宗准奏，卢绚接到圣旨一看，竟是三个多月之前的，一下子慌了，立即准备，匆匆忙忙的去了兴德郡。
就在李林甫为巩固相位不断打压有才能的人士的时候，边疆的战事也是一个胜利，接着一个胜利。皇甫惟明攻下洪济城之后，稳定了吐蕃边界的局势，吐蕃赞普尺带珠丹虽然想在大唐边境制造麻烦，但没有桥头堡，从吐蕃内地集结军队，距离太远，长途奔袭，军队疲惫不堪，失去了锐气，很难做到兵不血刃。
进攻了几次，没有占到便宜，倒是留下了一大批俘虏。天宝四年腊月，皇甫惟明进京献俘，唐玄宗对他进行了封赏，并于天宝五年正月十三任命他为鸿胪卿1。此时他身兼河西、陇右节度使，现在又兼任鸿胪卿，有些飘飘然。
作为主管朝廷典礼的主官，他大部分时间都在边关，其实只是挂个名而已。以前在朝中做官的时候，皇甫惟明与太子的关系很好，现在进了京城，少不了要去拜望一下。
进了太子府，太子李亨亲自出门迎接，他今天还特地打扮了一番。头戴紫金冠2，身穿衮衣3，俊秀颜面上挂上微笑。
皇甫惟明立即跪下：“皇甫惟明参见太子殿下。”李亨一把将他扶起来说道：“皇甫将军，打败了吐蕃，为朝廷立了大功，皇上称赞不已。”
皇甫惟明说道：“我们在边疆作战，全仗皇上和太子殿下的威风，取得胜利。是皇上和太子的指导有方。”
李亨已经把皇甫惟明当作了亲信，对他说道：“皇上年事已高，在皇宫呆的时间多，到宣政殿去的时候少了。”
皇甫惟明是个直性子，他对太子说道：“皇上一天老似一天，精力不如从前了，太子将来是要接管朝廷的呀。臣在朝野上听到一些议论，现在李林甫借着皇上对他的宠信，在朝廷一手摭天。如果让他这样乱搞一通，就把朝廷的风气都搞坏了，将来要治理起来，会困难重重。”
李亨说道：“本宫是很担心，但李林甫会笼络人心，有一帮人支持，除了皇上之外，在朝廷中，将任何人都不放在眼里。”