經過二個多時辰的密謀，許乃釗和吉爾杭阿終于被吳健彰說服，三人又趕到法國領事館。?知道二人來的目的后，布爾布隆又讓人請來英國領事阿禮國和美國新任的駐華專員麥蓮。
    雙方開始商談起來。
    也許是因為看到了洋人武器的威力，吉爾杭阿是真的被嚇壞了。
    面對洋人們咄咄逼人的要求，許乃釗還想拒絕，但吉爾杭阿已經開始亂了陣腳，支支吾吾地怕惹怒洋人。而擔任翻譯的吳健彰更是滿口答應，對于許乃釗的拒絕，被他翻譯成熱烈贊成，非常同意了。
    洋人自然大喜。阿禮國牽頭，拿出早就準備好的協議，建議吳健彰當初簽名，確定下來。
    吳健彰一看，這是一份關于上海海關關稅及租界的英美法清四方協議。
    協議中第一部分內容規定，由英、美、法三國領事各派“稅務司”一人，管理上嗨海關。協議中還詳細地說明了管理上嗨海關的具體方法，滿清的江蘇巡撫衙門和上嗨道道署共同和三國簽訂“海關征稅規則”九款，由三國各派一人，組成“關稅管理委員會”，直接管理上嗨海關，于是，上嗨海關的主權就這樣被出賣給了洋人。
    接著，四方協議第二部分內容是關于租界問題的。
    江蘇巡撫衙門和上嗨道道署承認“上海英、美、法租界地皮章程”，不但承諾不單方面主動漲地皮的租金，還充許英法美三國在租界內建立衙門和衙役捕快等政權和執法機關，租界內的中國人甚至大清官員，也要執行租界的法律。
    這樣一份將租界變成國中之國的喪權辱國的協定，中英兩份文件，就被吳健彰給簽署了。
    作為回報，英美法三國同意出面，勸說上嗨城中的小刀會叛軍交出縣城。
    次日上午，英美法三國派出英國駐上嗨副領事威妥瑪作為代表，進入上嗨城中，同劉麗川等人談判。
    威妥瑪說的是只要義軍撤出上嗨縣城，可以到租界內，由他們洋人出面，要求滿清赦免眾人的叛亂之罪。
    對于這種要求，無論是劉麗川還是陳阿林，都完全不能接受，談判自然沒有什么結果。
    威妥瑪無奈回到租界。下午，領事阿禮國又親自出面，只在前廳坐了半天的冷板櫈，根本沒人出來理會了。最后，阿禮國不耐煩地吵鬧起來，劉麗川和陳阿林這才出面與他會談。
    劉麗川的想法是同意放棄上嗨，進入租界，由洋人出面將他們送往太平天國的地盤，這樣，他至少能在太平天國撈個侯爺當當。但他還沒說出口，陳阿林便表態了：堅決不同意離開縣城。
    此時，陳阿林整合了李咸池等人的手下，在義軍中的力量已經居于位。他雖名義上還是排名第二，但實際影響已比劉麗川還要大。陳阿林不愿離開上嗨，要堅守縣城，劉麗川也無可奈何。
    阿禮國見說不通義軍，便退而求其次，又掏出一份中立聲明，要求劉麗川、陳阿林對起義軍布告示，“禁止持械穿越租界，違者嚴懲”。
    小刀會領隨即擬定這一布告，最后經英方核定，告示只禁止持械經過楊涇浜以北的租界地區，沒有包括洋涇浜以南的法國租界，法國公使布爾布隆對此強烈不滿，他認為這有損于法國的利益，是對法國的“蔑視”和侮辱，立即與劉麗川和陳阿林交涉，要求修改通告。劉麗川和陳阿林一方面為維護起義軍的權益，另一方也只是重視英國的意見，對法國人并不大感冒，便斷然拒絕再作更改。
    而正在此時，咸豐對于江蘇巡撫許乃釗圍剿上嗨月余，仍未攻克，十分惱怒，在許乃釗的關于上嗨攻城戰況的奏報上，直接批閱道：“賊勢并未漸窮，克復實無把握。許乃釗你日久無功，借此敷衍，甚屬可惡?！?
    許乃釗越惶恐。整日惴惴不安，急著想早點攻城。
    次日夜里，許乃釗親自督陣，開挖地穴坑道，填滿上千斤火藥，然后封閉坑口，安放好引火線。次日凌晨，清軍點燃引火線，隨著一聲巨響，磚石土塊飛向半空，兩丈多的城墻被轟塌了，城內幾幢民房也被地被炸毀，上百名清軍從缺口處沖進上嗨城。
    但沒想到的是，城內居然早就防備著城外利用地穴之法攻城，在城墻后面，開挖了寬闊的內壕，沿壕溝內布滿釘石，擋住了清軍的前進道路。
    被堵在城墻缺口處的清兵，被義軍在壕溝另一側集中射殺，上百名清兵除了逃走了二十余人，其余的都慘死溝內。
    清兵再次想從缺口沖進城里，但兩邊城墻上的起義軍的磚石紛紛砸下，加上壕對面的火槍射殺，又打死清兵數百。
    清兵只能退卻。但許乃釗急了，他和吉爾杭阿、吳健彰三人親自督戰，并宣稱誰最先攻入城中，賞銀三萬兩，而畏縮退卻者當場立斬，逼著清軍兵勇沖殺。重額賞賜下，清兵士氣高漲，便要殺入城內。
    這時，天上忽然下起大雨，清軍一下便被淋得如落湯雞，兩腳陷在泥中，火繩火藥也被淋濕，槍炮失去作用，清軍只得撤退。
    又一次攻城不利，許乃釗郁悶不已！他上書奏報稱，“不欲使逆匪聚抗大兵，致令多戮無辜也”，是上天下雨導致，大軍只能回撤，或許這是天意。
    幾天后，咸豐收到信報，大雷霆！