清军对上海城郊肆无忌惮的劫掠终于出事了，几个胆大妄为的清兵甚至跑到美租界抢钱，这一下触动了美国人的心里防线。
在杨小山的鼓动下，美国停留在上海港口的军舰以清军侮辱、袭击租界外侨为借口，向驻于泥城浜的清军发动炮击。
清军不战而逃，第二天巡抚吉尔杭阿和道台吴健彰亲自出面赔罪。
上海的丢失对清廷影响巨大，因为关税收不上来，清廷的财政收入受到严重影响。朝廷不得不派官员去与英法美协商关税事宜。
最后吴健彰接受英国领事阿利国的建议，由英、美、法三国领事各指派税务司一人，组成所谓“关税管理委员会”控制海关。与三国领事签订“上海海关征税规则”九条，从而开创了出卖中国海关主权的先例。接着清政府又承认“上海英、美、法租界地皮章程”，充许外国侵略者在租界内建立政权和警察。
在租界地位、海关控制权等问题上获得了满意的结果后，英法美三国开始转向清军，与清军联合起来，在上海城北面建筑围墙，断绝起义军的补给线，封锁上海县城。
清朝当局和外国人的严密封锁，使城内起义军困难重重，他们得不到郊区农民的支援，无法补充兵员，同时也不能获得外部的粮食与弹药等物资的接济，形势变得非常严峻。留在城内的居民约有二三万人，大多数是妇女和儿童，他们忍受着饥饿的折磨。
刘丽川等义军首领命令起义军食糜粥、草根，同时以少量粮食供应群众。存粮越来越少，米价不断上涨，每斤米竟高达 300文，很快又涨到四五百文。起义军“杀牛马以食”，民间将所有的猫、狗都杀光吃光了，又吃草根、树皮。接着便有人饿死，每天都有8个到10个人饿死。弹药也消耗得所剩无几，城内处于弹尽粮绝的境地。
参与封锁的洋人中法军最为上心，他们对一切企图与城中小刀会起义军往来的人，一律开枪射击。一天黄昏，一位老太太想把一篮食物送给城里的一个亲戚，法军见了，开枪射击，她的大腿受伤，倒在地上，法军哨兵又用来福枪射击，在她近旁溅起泥土。最后她的背上又中一枪。可怜的老太太躺在那里哀号，直到半夜，才被起义军抬进城里。法军为封锁县城，每天射杀的无辜群众数人至数十人不等，其罪行令人发指。
期间杨小山把胡雪岩在上海的一部分军粮打算运进县城，无奈封锁太严，只能夜里悄悄丢几袋米过墙，这些粮食对县城内那么多饥民是杯水车薪。
这个时候小刀会是突围的最后机会，但他们内部还是不统一，刘丽川主张向镇江方向突围，到南京去投太平军，陈阿林主张去福建老家继续抗争，其他头目也各有各的主张，会场争论激烈，未能达成一致意见，在不愉快的气氛中散场了，最终的结局就是各自找机会突围。
清军经过不断的调集军队，并且和法军达成了一致，联合在一起对上海县城发动了最后的总攻。
法军的军舰上的大炮对上海县城进行密集的炮击。
北面城墙被轰开了两丈多宽的口子，清军乘势猛烈攻城。
好在罗大纲在城墙内侧挖了深壕，让他们不能轻易进入城内。罗大纲带领数百人用长矛、火箭压制住清军的进攻，把他们打了回去，但也损失了不少人手。
但南门的城墙下，清军的地雷又炸开了一个口子，这一侧小刀会起义军就没那么顽强了，被清军突了进来。
紧接着东门又失守，被清军从云梯上翻进城内，他们进入城中到处放火，这个时候上海县城已经守不住了。
罗大纲只能带着几百名弟兄从北门而出，突围出来。幸好有杨小山的接应，把他们藏在美租界内。
刘丽川带领数百名弟兄从西门冲出，打算前去镇江和太平军汇合，可惜走到虹桥撞见了清军总兵虎嵩林，虽然起义军将士拼死一战，但毕竟敌众我寡，大部分战死，只有百龙会帮主飞虎将军潘起亮带领少部分人杀到镇江一带，最后投了李秀成。
陈阿林的队伍也是从西门冲出，不过他是打算南下去福建，依旧遭到了清军的阻击。他们且战且退，损失了不少人，只有少部分人冲了出来。陈阿林和队伍走散，只带了几个兄弟逃到美租界，也亏得杨小山出手，才没被清军抓走，和罗大纲等人一起藏在了药材店。
其余小头领，徐耀率领160余名起义军由小东门、北门冲去，全部被清军捕获，最后都惨遭杀害。还有蔡三冬、周龙林等300多名起义军将士出城以后，不及隐蔽，被清军及团练逮捕，审讯之后，分别被凌迟处死。