中午时分，李邺请韦见素和颜真卿在丹凤酒楼用餐。
李邺虽然驳回了颜真卿请求解散内卫的奏折，但他也赞赏颜真卿那种为民为下属担当的勇气，替自己指出了内卫之害，否则他还真不知道内卫已经到了人神共愤、民怨沸腾的地步。
颜真卿看得出心情不太好，闷闷不乐低头吃饭，始终一言不发。
李邺笑着给他斟了一杯酒笑道：“一个屡立大功的开国功臣，刚建国就把他宰了，让天下将士怎么想？”
颜真卿硬着脖子道：“可如果是劣迹斑斑，害民无数的大将，杀了还可以警示军心！”
“害民还谈不上吧！”
李邺淡淡问道：“内卫士兵有肆意奸淫妇女，杀人如麻的罪行吗？”
“那倒暂时没有，可敲诈勒索、肆意抓人，令百姓闻之色变，这不是个别现象，已经是普遍了，内卫成为害群之马已是不争的事实，陛下，天下已靖，内卫确实没有存在的必要了，内卫的有功将士可以提拔另行安排，完全可以加强其他官衙职能，陛下，内卫是军队，军队不适合管理太平盛世啊！”
李邺笑了笑道：“崔圆儿子贩卖私盐，如果不是内卫，这个案子谁能查得出来，事实上，朕早就给内卫定了性，抓大放小，内卫只管大案，各地官府办不了的大案，盐铁监、税务署、稽私署、户部、刑部、大理寺办不了的大案，自然会向内卫求援，朔方私铸铜钱大案、三十五名圣女会成员在碎叶被集体毒杀案，这些大案也只能内卫去查办，颜尚书说内卫没用，这可不是公允之言。”
颜真卿刚要开口，李邺摆手止住了他，“我们都知道用阿芙蓉炼制的底也迦是一种毒药，吸食过量会上瘾，让人形如槁枯，终身难戒，但底也迦少量使用也是一种阵痛良药。
任何事物都有两面性，关键看使用者怎么用它，一把刀可以是厨房良器，也可以是杀人利器，内卫就是一把锋利的刀，用得好则利国利民，用不好就是祸国殃民，颜尚书不能因为内卫一时管理不到位，就视之为洪水猛兽，非要杀之而后快，这就有点因噎废食了。”
旁边韦见素也点点头，“微臣支持陛下的观点，关键是制度没跟上，前几年内卫可是立下了很多大功，这两年也是一小撮内卫士兵徇私枉法，败坏了内卫名声，微臣也认为，如果制度跟上了，内卫确实能大有作为。”
颜真卿虽然刚直，但并不愚蠢，内卫扰民绝不是他要求废除内卫的真正原因，内卫对百官的监视才是，表面看是百官嫖娼被抓，但细思则恐极，说明内卫时时刻刻在监视着百官，官员们相聚吃顿饭，都被内卫监视，这才是颜真卿要求废除内卫的原因。
此时，颜真卿也明白天子的意思了，废除内卫不可能，可以在制度上进行改革，他心中叹口气，如果实在废除不了，那也只能退而求其次，看看怎么改？
喝茶时，颜真卿喝了口茶问道：“关于内卫改革，陛下有想法吗？”
李邺点点头，“颜尚书的奏折是腊月二十九递给朕的，整个新年时间，朕都在考虑这件事，朕考虑的方案有二，第一個是精兵简政，正如颜尚书所言，现在天下太平，内卫没有那么多事情了，四万人确实太多了，内库负担沉重，朕打算削减三万，让士兵归家，只留一万精锐。”
颜真卿躬身道：“陛下圣明！”
李邺又笑着继续道：“第二步就是制度改革，把内卫由军队向官衙转变，朕准备在内卫设立一个朱雀堂，功能和朝廷的白虎堂完全一样，内卫所有的案子都必须由朱雀堂分配，没有拿到朱雀的批签而擅自涉案，那就是严重违规，轻则记过，重则革职拿问，如果造成严重后果，还要被斩首示众，这样，内卫能做什么，不能做什么，都由朱雀堂来决定。”
韦见素竖起大拇指赞道：“陛下的朱雀堂和白虎堂一样，真是神来之笔也！”