皇帝赏罚不当，喜怒无常，对于朝中的大臣来说已经是司空见惯的事，不过，总有人看不惯，比如王恭，他向皇帝皇帝说了几次这件事，皇帝也只是向他摆摆手，叫他不要计较此事。
在这种情势下，司马道子应该知道要避着这个叫做王恭的人，但是，他好像并没有这种觉悟。当桓玄和刘柳在受邀拜访司马道子府邸途中的时候，看到王恭也往那个方向走，惊奇万分。
桓玄讲义气，见到王恭，远远地就上前打招呼，上前问候道：“王中书这是要上哪里？”
王恭冷哼一声，道：“这个方向上，能造访也就只有整天无事的司马道子。”
“中书去也好，只不过……今日太傅府上摆宴，众人兴致高，突然打搅他的话恐怕……”桓玄斟酌着说出自己的话，他也就是不希望王恭和司马道子发生正面冲突，想阻止他往那边走。
王恭奇道：“突然造访？我没事会往他那里走？是他昨天派人邀我到他府上的。”
桓玄愣了半天，刘柳在他旁边轻声说道：“司马太傅有时候做事就是不清不楚的，你也不是第一次见了。“5■，
桓玄叹口气，好像就是这个样子的，于是，三个人一起去了道子府，路上，桓玄努力改变王恭的一张哭脸，只是没有多少效果。
这类吃吃喝喝，谈晋朝早期的清谈早就变为现在热烈的杂说聊天，即使是论及佛道，也只说寺庙的宏伟和香油钱的多少。
王恭一直绷着脸，刘柳早就习惯了这些，桓玄却想改变现状，却也无能为力，只能感慨着世风日下，在一边想着曾经的名士风流，不禁吟咏啸歌。他刚刚一开喉咙，周围的人就安静下来了，桓玄略得意，表演了一番。
等桓玄啸完一段坐下，刘柳带着点讽刺，笑道：“灵宝嗓音高亢，我以前还不知道。”
桓玄说道：“我和现在吴郡内史袁山松有过一次见面，我看他歌声美妙，啸声至上云霄，很喜欢，就向他讨教了。”
刘柳点点头，又说：“你外族叔桓伊也是音乐天才吧。”桓玄笑了，在当时，袁山松和羊昙的唱乐和桓伊的挽歌并称“三绝”，他和袁山松到现在还有书信往来，谈论的也都是山水、啸歌之类，也算是忘年之交了。
此时，出现了一位黄衣道袍，状如天师之人，这人面色苍白，应该刚刚服过五石散，仔细看脸型，还是一个妇人。这女子下来与众客交谈，也路过桓玄处，看见旁边的人面色难看，也就去了别处。
等那人走开，桓玄疑惑道：“这妇人是谁？怎么能出现在这种地方？”桓玄奇怪，一个如此装扮的妇人出现在高层官员的宴饮处，是很“降节”的行为。
旁边的尚书左丞祖台之说道：“这是淮陵内史虞珧的妻子裴氏，有服食之术，深得司马太傅喜欢。”桓玄、刘柳皆皱眉，这种事情都敢摆上台面，他们彻底无语。
此时，王恭却站起身，高声又气愤说道：“我还从来没听说过宰相旁边有失去操行的妇人。”就大步出去了。
在场的人一阵沉默，都感到不安。桓玄向众人说了声抱歉，也跟着王恭出去了，刘柳也出去了。
很快，这件事就传到皇帝耳朵里，整天修道炼仙的他也不会觉得自己的弟弟过分，对于这两派的斗争，他实在无奈。这两个人实在不好沟通。他告诉王恭，要他多多包涵道子，王恭就摆出一张义正词严的脸，让皇帝都下不了台；跟司马道子商量，让他少和王恭过不去，道子则摆出一张什么都不知道的脸。
苦恼归苦恼，解决的办法也不是没有，已他的权力，只要削弱其中的任何一方，让这两股力量无法抗衡就行了，只是，他不想这么做，一是怕伤感情，又一是，朝中有矛盾，才能显示出他这个最高位者最实在的权力。