虽然去岁年末部队就开始了针对性的登陆操演，但都是在福建近海进行的，从泉州出发后在南下途中，第三师的官兵们还是经历了一场大风浪的洗礼。饶是这些南方士兵都有过乘船的经历，后来还经历过一些海上的训练，也经不住这种颠簸，加上海船空间狭小，很多人晕船了。
经过几天的航行之后，船队到达了伶仃洋外的万山群岛，万山群岛，位于珠江口正南方，是广州出海航道必经之地，万山群岛层峦叠嶂，如座座营盘雄踞虎门前沿，像艘艘巨舰驻泊于珠江口海面，成为华南的天然屏障和广州的重要门户。群岛间航道纵横交错，是广州，珠海，香港进港船舶的必经之地；而万山群岛恰扼出海航道的要冲，地势险要，正是兵家必争之地。
如果没有英法舰队的抢先占领，张文祥的第三师第一场登陆战必定会在这里爆发，可惜早在去岁英法封锁珠江口时，万山群岛就已经陷落，如今守在岛上的是英国海军陆战队的士兵，而游弋在万山群岛海域的是英法舰队。
所以作为南下作战的先锋部队，第三师第一个登上了万山群岛当中的垃圾尾岛，也就是桂山岛。桂山岛位于万山群岛西北部，珠江口东侧，当国内外船舶进出珠江口航线之要冲，为万山群岛海上交通枢纽。岛呈南北走向，长3公里，宽1.05—2.4公里，岸线长9.40公里。面积3.5125平方公里。全岛有井13眼，各山均有泉流，终年不断。足够数万人淡水饮用。岛岸较曲折，多岩石陡岸和磊石岸，近岸礁石散布。沿岸共有港湾15个，主要有一湾、二湾，均为沙质岸滩，湾内有英国人修建的“t”型码头3座，并建有建议的导航灯桩。
张文祥和郑岩驮等第三师指挥部成员是跟随第二批舢板、小船登上桂山岛的。岛上的英军陆战队指挥官是一个叫乔治亚的海军上尉，他带领一百二十多名英军驻守这个岛。对于太平军船队的到来，他们并不吃惊。早在一周前，他们就接到了移交桂山岛给太平军的命令。
去岁年末，在一轮又一轮的争吵和妥协之中，英国公使包令和法国公使布隆布尔不得不放弃了原本的条件。西王始终不同意与英法联军联合对清军作战。开放全国的条件也被拒绝。西王只同意增开南京、苏州和泉州三处作为新增的通商口岸。鸦片贸易合法化被言辞拒绝，西王甚至不惜以战争作为威胁来拒绝这一条款。
如今身陷印度战争漩涡的英国人没有多少底气和太平军开战，太平军控制了几乎所有的南部沿海重镇和港口，和太平军开战英国会损失很多利益，他们也不认为太平军是懦弱、腐朽的清军，光靠海军和两千海军陆战队就能达到让太平天国屈服的目的。
于是英法暂时选择了退让，三方草签了一个协约，仅仅只是太平军南下广州作战的一个协约而已。西王用增开三处通商口岸和允许英法两国使节进驻天京为代价。换取了封锁珠江口岸的英法舰队让出万山群岛的占领权。同时双方约定，英法在太平军南下广州之战中撤回香港锚地。不干预广州的战争，太平军在占领广州后，承诺在最短时间内恢复广州的秩序和贸易。
虽然英国人很不满意这次谈判取得的成果，但却无可奈何，他们不可能在印度方面没有镇压下起义的同时，再在远东和兵力、战斗力强大的太平军宣战。当中英法联合舰队司令格兰特的意见起到了至关重要的决定作用，根据格兰特的说法，太平军已经不同于腐朽的满清军队，他们在庙街、库页岛等一系列对俄作战中的表现已经证明，他们并不比俄**队弱，甚至他们要强于俄国人，要想让太平军屈服，英法联军甚至必须做好再打一次克里米亚那样规模的战争，而不是仅靠还身陷印度的三万远征军就可以成功的。
格兰特的评估之语让英国首相和议会都感到了棘手，加上英国商会和罗斯柴尔德家族的反对，于是英国人妥协和暂时退让了。英国商会更看重的是即将新建的沪宁铁路和宁福铁路，上海到宁波到福州的铁路修建，这是一块多么巨大的蛋糕，如今的太平天国每年进口的钢铁、五金、武器等等也是非常丰厚的商业利润，而且太平天国的进出口关税也很合理，没有像之前满清那样多重收税，发生不愉快的争端也很快能够得到太平天国政府的解决，没有满清那种愚昧无知的推搪和避而不见，因此英国商会成员都不愿意与太平天国开战。至于那些肮脏的鸦片商人，他们多数都是印度爆发户，本土的英国商人是看不起他们的，虽然英国本土商人偶尔也进行过鸦片贸易，但他们更看重的是本国的商业。