殷仲堪东下的速度很慢，但是西上的脚力就比较好了，桓玄和杨佺期在后面追得苦，直到了江州寻阳一带，才赶上他。
三人再次见面，难免有些尴尬。
“新江州、雍州急急赶来，不知有何贵干？”殷发难。
“念妻顾小，惧荆州声威。”桓玄答道，他明白此时的仲堪需要安慰。
“南郡连败王师，威名远扬，怎么会惧怕我？”看来这人还在气头上。
既然要解除他的怨恨，就只能继续戴高帽了，“我能取胜，是仗着卿的实力，再说，我手下的兵马也不是自己的。”
仲堪脸色稍缓，问道:“我们现在该怎么做？”
“孝伯已逝，我们要团结在一起，才能为孝伯，为自己讨回公道。朝廷虽然贬黜卿为广州刺史，但是卿在荆州威望犹在，手中握有重兵。我家堂兄可不是这么容易就能取代的。”桓玄分析道，又提议“我们应该结盟反对朝廷的不公。”
如果说桓修继任荆州，那桓氏就就是荆、江两个大州的刺史，要和殷仲堪合作，放弃这个，桓玄还是有点心痛的。不过，桓修说到底还是司马家的女婿，现在站在哪一边他也不清楚，而他更喜欢的桓谦则一直保持着中立的态度，一切看起来《≠，倒像是桓玄一个人在闹，桓家的一伙人只是在看。
仲堪点头，又问佺期，才注意到此人还未说过一句话，此时被问到，他也只是应一声。
最终，三人约定日子结盟，并决定推选桓玄为盟主，殷还是知道自己官职已降，号召力还不如桓玄，夺回荆州还要靠他。
是夜，杨佺期暗暗找殷仲堪商量。
作为武将，他直话直说:“桓玄不可留。”
殷不答话，低头捏着已经被他揉了几百遍的诏书。
“君手里握有重兵，完全不用依靠桓玄的力量。”佺期继续劝说。
“桓玄手下的将士你能控制吗？”殷问。
“树倒猢狲散，桓玄一死，还怕他们不服从。”
“桓温残余的力量，桓玄在荆州培养的势力，还有桓氏中人，如果他们起来反对，你打算如何应对？”殷又问。
“正因为如此，才更不能让他继续。”杨佺期回答。
这些殷仲堪也清楚，桓玄是不能让他继续下去，但对他动手却不是件容易的事，而且，还有一个原因，他不能和杨说出口，那就是他怕没有了桓玄，自己控制不了杨佺期。
“抑制桓玄的事我们以后可以再行动，目前最重要的一致对抗司马道子专权，你不要多说了。”殷最后反对他。
杨佺期愤然，抛下一句，“若杀桓玄，宣誓那天就是最好的时机，我会动手，殷公切莫多事！”
殷仲堪见他坚决，不再劝阻，等他走后，偷偷派人跟桓玄大哥招呼，让他小心一点。