过了几天，潘临和彭式两人分别领了三千兵马和两千兵马一起来到了钱塘县城之外，和安琬大军汇合在一起。三人稍微合计了一番，决定各自派麾下大军攻打一处。
自然，山越众贼确实不善于攻城，连攻城器械都是一些十分简陋的云梯，哪里能攻打的下由左宗棠和黄忠驻守的钱塘县。
大战只是进行了一个时辰，山越损伤颇大，安琬便毫不犹豫地下令撤军，潘临和彭式的兵马自然也一起撤了回来。回到驻地之后，三人各自检点了下损失，其中安琬三千兵马损失了千余人，彭式的两千兵马也损失了七八百。这时潘临听完之后，不由得嘿嘿一笑道：“看来是我的运气比较好，我攻打的那一处守军比较少，或者是左魁刚募集的新兵，兵马损失不足三百人。”
听到这，彭式长叹一声，却还是向潘临恭喜道：“那恭喜潘帅了！只不过如今看来攻城无望，我等不如暂且各自回去，再议他计！”
只有安琬，听到这样的消息，内心十分不平衡，他不知道为什么，自己攻打的那一处，守将十分凶猛，特别是有一老将，手持长弓，一箭三矢，例不虚发。他自己都险些中了一箭，他也猜到这人就是黄忠，也算领教了黄忠的箭法。
“就这样就撤退吗？敌军有很多新兵，并没有太多实战经验，不如晚些再试一次如何？”
潘临见自己将士损失较少，自然心情大好，安琬却摇了摇头，“张帅临行前已经吩咐，若是攻城不顺，一定不能勉强。某现在就要回去复命，否则定然见罪于张帅。”
当晚，安琬便率军返回，而彭式和潘临休整一晚后，等到第二日，也都纷纷回去。
安琬将钱塘之战的情形一一说与张士诚听，张士诚呵呵一笑道：“看来我之前的猜测已经八九不离十了。这潘临和左魁之间一定有什么不可告人的秘密，否则他怎么可能只损失那么一点人马。”
“张帅所言极是，当日我军损失较大，我便要撤退；可是那潘临竟然还想让我再继续攻打下去，若是如此，不出两日，末将这点兵马必定悉数葬身于钱塘县。这潘临用心歹毒，张帅，不如趁其还没有发觉，张帅先下手为强，先杀了这小人，收编了他的兵马，如何？”
张士诚皱了皱眉，可是听到安琬的建议，他忽然嘿嘿一笑，心中暗道：即使这是左魁的反间之计，那我也能将两家兵马合二为一，到时候比让他潘临匹夫统领强多了，如此因此壮大实力，那自己还要感谢左魁之计了。
张士诚想到这里，有些兴奋地说道：“既然他潘临不仁，休怪我张士诚不义！来人，明日去给潘临和彭式各送一封信，就说我要约他们再到余暨商议破敌之策。”
安琬自然不会知道张士诚心中所想，但见张士诚已经下了决断，他便去执行便好了。
这次张士诚亲自领军五千，来到了余暨；他先吩咐下去，令安琬率领几百刀斧手埋伏起来，再亲自令人准备晚宴，为潘临和彭式接风。