小刀会起义后，英、美、法西方列强就乘机劫夺中国的关税以扩大其在中国的特权。1853年9月9日，上海英国领事阿利国发布通告说：“目前海关行政既陷于停顿，我们就没有遵守海关规章或缴纳关税的义务。”同日，阿利国和美国公使马沙利分别向英国、美国侨民公布了《在海关行政停顿期间船舶结关临时规则》，决定进口商、航运商及货运承办人应缴纳的税额，要向本领事馆缴纳，由英美领事代为征收保管税款。这实际上是攫取了上海海关的职权和税款，并抵制清政府重新设关征税。
关税收入对于清政府来说至关重要，用它可以筹措镇压小刀会起义军和太平天国的军饷。吴健彰几次向英国领事催缴关税，阿利国表现得很无赖。他说，中国海关已不存在，中国丧失了对上海的控制权力，其他国商人可以乘机逃税，中国皇帝没有平等法律或条约权利向英国商人追收税款。他还威胁说，由于中国的挑衅行为，英国不得不放弃中立政策，而采取自卫的政策。阿利国矢口抵赖以前的欠税，又否认清政府有重新征税的权利，甚至以实行报复相威胁。法国和英国站在一起，拒绝向清朝海关纳税。
英、美、法虽然宣布“中立”，实际上却利用清朝政府在太平天国革命打击下摇摇欲坠的有利时机，企图通过“修约”来扩大在中国的特权。1854年，英、美、法三国提出全面修改条约的要求，美国公使麦莲对清朝的两江总督怡良就公开表示修约的要求，说小刀会起义“是一个有力量的、够尊严的运动，有资格向外国政府要求享受交战国的权利，不管他们所控制下的土地是大是小”。他又说：“这些中立的义务，是外国所应遵守的，但可以用条约来修改。”英、美、法西方列强以协助清朝统治者镇压中国革命为条件，来达到他们扩大侵略在华势力的目的。他们的“中立”，只不过是一种伪装罢了。
清政府对“修约”既不愿承认，又不敢拒绝。因此，英、美、法侵略军便决定对上海城外的清军教训一下，逼其早日屈服，接受外国侵略者扩大侵略的条件。因而发生了1854年4月4日的“泥城之战”。
4月3日，英国以一些偶然事件作为借口，挑起事端。当时英租界仅限于洋泾浜（现在的延安东路）以北，山东路以东的狭小地区。围攻上海城的清军驻在泥城浜（现在的西藏中路）以西。4月4日，英、美两国军队从租界向西出动，英军由南京路向泥城桥、美军由洋泾浜向“新跑马厅”（约在今西藏中路以东），向清军兵营示威。下午4时，美军首先向清军发炮，英军也炮击清军，面对外国侵略者的武装进犯，一些清军开枪开炮还击，在英、美军队的炮击下，清军溃退了。战后第二天，吴健彰亲自出来向侵略者陪罪，表示了停止敌对行动的愿望，作了“租界不可侵犯”的保证，满足了侵略者的要求。
“泥城之战”是中外反革命勾结的一个转析点，清朝统治者对外国官员更亲睦了。清朝地方政权向外国侵略者投降，出卖上海海关和租界的主权，满足了外国侵略者扩大侵略的愿望。“泥城之战”后，许乃钊和吴健彰接受了阿利国的建议，由英、美、法三国领事各派“税务司”一人，以控制上海海关。6月29日，清朝上海地方政权和3国签订“海关征税规则”9款，接着由三国各派1人，组成所谓“关税管理委员会”，上海海关的主权就这样被出卖了。7月5日，清政府承认“上海英、美、法租界地皮章程”，充许外国侵略者在租界内建立政权和警察。
“泥城之战”后，英、美、法侵略者在强迫清朝当局奉献海关主权从而夺取租界权益的同时，又加紧逼迫小刀会起义军交出县城，以作为对清朝当局的酬答。6月27日上午，英、美、法三国代表进入上海县城。同起义军领导人谈判，谈判没有什么结果，因为起义军对由外国人调停而获得清廷的赦免，不敢相信。7月5日，三国代表再次进域，只在接见室坐了半天冷板櫈，根本没人出来接见。7月7日，3人第三次进城，起义军首领不同意离开县城，他们交出一个中立声明，要求刘丽川、陈阿林对起义军发布告示，“禁止持械穿越租界，违者严惩”。小刀会首领随即拟定这一布告，最后经英方核定，告示只禁止持械经过洋泾浜以北的租界地区，没有包括洋泾浜以南的法租界，法方对此强烈不满，法方认为这有损于法国的利益，是对法国的“蔑视”和侮辱，要求再与刘丽川，陈阿林交涉，修改通告。刘丽川和陈阿林为维护起义军的权益，断然拒绝再作更改。
中外反动势力的相互勾结，他们加强了对上海县城的围困。起义军谋求突围出城，并频繁地出击敌人。1854年4月7日，起义军乘“泥城之战”后的时机，出城袭击敌人，然后返回城中。4月8日，起义军出西门攻打清军营盘，双方展开激战，起义军受到一些损失。9日，许乃钊被清廷实授为江苏巡抚，他要重整旗鼓，报复起义军。20日，各营清军联合进攻县城，炮声响了整整一天，起义军坚守城池，英勇抗击，清军伤亡惨重。
4月23日黎明，陈阿林率领起义军2000多人，偷袭清军城西刚建成的清军营盘，起义军向敌营抛掷火罐、火箭，将三座营盘全部烧毁。虎嵩林率领清军救援，起义军见虎嵩林的营盘空虚了，又乘虚转攻其营盘，招来清朝援军，起义军便退回城中，这次战斗，杀死敌人60名左右。不久，起义军又出西门，攻打四川兵营盘和法华镇乡勇营地。在起义军撤退时，清军在后面穷追不舍，城上起义军见状，立即发射猛烈炮火，阻止敌人前进。
4月25日到30日，起义军数次出城作战，四面出击，打得清军晕头转向，狼狈不堪。
许乃钊在5月7日向咸丰皇帝呈送奏报，随后同吉尔杭阿、虎嵩林等人策划，认为南门西面一带城根砖石较松，壕沟稍窄，决定在这开挖坑道，轰开城垣，便挑选兵勇，许以重赏，在夜里开挖坑道，并命炮台兵勇轮流施放枪炮，来掩护兵勇挖掘。5月17日，咸丰皇帝看了许乃钊的奏报，非常不快，批道：“贼势并未渐穷，克复实无把握。许乃钊日久无功，借此敷衍，甚属可恶。”许乃钊得知皇帝发怒，惶恐不安，急图攻城。
5月24日，清军的坑道挖成了，当夜填满1200斤火药，封闭坑口，安放好引火线，25日凌晨，清军点燃引火线，随着一声巨响，砖石土块飞向半空，两丈多的城墙被轰塌了，城内几幢民房地被炸毁，100多名清军冲进城来。但城内宽阔的内壕，沿壕布满钉石，挡住了敌人的前进。起义军在壕后的土室中向敌人射击，打死敌人约40名，其余慌忙逃到城外。敌人再次想从豁口冲进城里，城上起义军的枪炮子弹与砖石齐下，又一次打退敌人的进攻。吉尔杭阿亲自督战，许以先登者赏银三万两，畏缩退却者立斩，逼令兵勇冲锋豁口，起义军大批集于城上，奋力抵御敌人的冲击。这时，下起大雨，清军泡在雨中，淋得如落汤鸡，两脚陷在泥中，火绳火药也被淋湿，枪炮失去作用，清军只得撤退，起义军赶紧抬来门板等物，填塞缺口。
许乃钊屡遭挫败，上海县城久攻不克，竟说天时不利。7月1日，他上奏说：“历观每次攻城，满拟必可得手之时，辄为大雨所阻，天意或者不欲使逆匪聚抗大兵，致令多戮无辜也。”连昏庸的咸丰皇帝见了也觉得荒谬至极。咸丰帝龙颜大怒，认为许乃钊是个无能之辈，便决定将他革职。7月7日，咸丰皇帝发出上谕，斥责许乃钊剿办小刀会不力，劳师费饷，日久无功，还处处被英国人所挟制，便将他革职，交向荣差遣委用，而授吉尔杭阿为江苏巡抚。7月11日，苏松太道吴健彰被咸丰皇帝以“勇夷养贼”和“侵吞关税银两”等罪名革职拿问，职务由蓝蔚霁代理。
继承许乃钊的吉尔杭阿是咸丰皇帝信任的满族人，他既接替了许乃钊的职务，也继承了吴健彰的卖国投降活动。在外国侵略者看来，他是很理想的人物，一位美国侵略者头目曾当面夸赞吉尔杭阿，说他在中国住了20年，最大的人物是伊里布、耆英和吉尔杭阿。吉尔杭阿上任后，进一步和外国势力勾结起来，对上海小刀会进行联合进攻。他之所以敢于这样卖国投降，是清朝政府默许的。对外国侵略者来说，虽未实现全面“修约”，但在上海得到了实际的特权。他们在捞到好处之后，便撕破了“中立”的假面具，开始对小刀会起义军进行武装干涉。