后来没几天，有一流言满城皆传，那便是高阳长公主同顾纬天已经和离，且顾纬天续了秋落为继妻。
这流言传来传去，自然也就传到高阳长公主耳中，既然皇兄不准她同顾纬天和离，她便对这流言不屑于顾，可是有一天，这流言竟变成另外一个版本，说顾纬天欲与高阳长公主和离的真正目的是，高阳长公主不能生养。
这话入了高阳长公主耳中，她可不想等闲视之，她不能生养是事实，但却不想面对这个事实，除非以和离来掩盖，因为只有和离了，她没了丈夫，能不能怀孕外人也就无从得知。
于是，她再次找到宇文佑，铁了心的要与顾纬天和离，不料再次给宇文佑驳回。
此时的高阳长公主颇有些内忧外患的感觉，因为她疯狂报复太后，以至于滥杀无辜，阖宫怨言沸腾，闹到宇文佑面前，宇文佑狠狠的斥责了她，为了息事宁人，宇文佑甚至废了她的长公主之位，降等为一般皇亲，但保留了她的封号高阳，又责令她不准再踏入宫中，当然，驸马府也就不复存在，她就随着顾纬天住到了普通的民宅，从此不再是高阳长公主，而仅仅是先皇之女高阳。
从高峰跌落谷底，这种大起大落让高阳无法接受，直接受害者便是顾纬天，她成天的吵闹，吵到最后直接的结果是，顾纬天给了她一纸休书，她之前是长公主，顾纬天连和离都是困难的，现在她只是普通皇亲，休妻也就不是什么难事。
然而还是受到了阻挠，这阻挠来自顾保三，他同高阳一样的心思，虽然现在依然是荣华富贵，可是再不如做大驸马的老爹更风光，所以顾保三一方面阻挠儿子休妻，一方面还极力筹谋想让高阳重回往日的荣耀，他才能鸡犬升天的重回往日的荣耀。
为了阻止儿子休妻，顾保三找到张贵玉，想麻烦他在皇上跟前递个话，有皇上干涉，顾纬天必不敢休妻。
谁料，张贵玉是个势利小人，眼见高阳失势，顾纬天也不再是大驸马，他就无需再溜须拍马，于是为难的对顾保三道：“皇上每天光是看奏折都看到半夜，哪里还有工夫管你的破事。”
翻脸无情，顾保三忍着他的小人嘴脸，赔笑道：“皇上没工夫管我这破事，也不会有工夫管你的破事，听说你那个女儿还在冷宫关着呢，你若帮了我，我也可以帮你把女儿从冷宫弄出来。”
张贵玉讥笑着，撇嘴道：“你？”
是了，你一个曾经的太监，你现在进宫都困难，凭什么管起宫里的事？
顾保三知道他不会相信，也笑，胸有成竹道：“是我，因为我儿子同狐兰猗交情深厚，而狐兰猗同皇上交情深厚，狐氏出面，皇上必然给她面子，你女儿的事就不是什么大事。”
所谓交情深厚，还不是宇文佑喜欢兰猗的意思。
不成想，这事也是满城风雨了。
这回，张贵玉有些犹豫了，宇文佑对兰猗的心思，他是比谁都了解的，想了想告诉顾保三：“话我可以帮你递，但能不能成，看你的造化了。”
无路可走，权且一试，顾保三叹口气：“我信天命。”
张贵玉就一甩拂尘，很是傲慢的样子：“行了你等信儿吧。”
顾保三千恩万谢，回到家里等候好消息。
可是他最后等来的是坏消息，张贵玉找到宇文佑，宇文佑正同九王宇文偲喝酒呢，眼瞅着天渐渐凉爽，也就意味着公输拓的死期快到了，宇文佑精神焕发，吃了个半醉，同宇文偲说着闲话，三句不离兰猗，仿佛兰猗已经唾手可得。