上海小刀会建立后积极发展组织，准备起义。清朝当局力图挽回危局，以维护其腐朽统治。双方的矛盾迅速激化。
早在1853年春太平军攻占南京后，苏松太道吴键彰见形势危急，急忙招募乡勇，举办团练，以防御太平军的进攻。他挑选广东乡勇数百人为亲兵，派李绍熙团练广东人，李仙云团练福建人，徐谓仁团练上海人。他还命各乡堡办理团练，令百姓出捐，各守村镇。吴健彰原本是个商人，靠花钱买官，担任了苏松太道，他没有统治军民的行政经验。曾有士绅告诫他说：招募外兵不如招募本地人，外兵不但起不了什么作用，还会惹是生非。本地人守家在地，保卫家乡必定尽心竭力。江苏、浙江人胆小怕事，又诡计多端；福建、广东人强悍无理，违法乱纪，还是本地人靠得住。应像明朝戚继光那样办团练，奖励勇敢的人，惩罚懒惰的人，赏罚分明，可使众人受到教育。吴健彰对这一忠告当成了耳旁风，根本没往心里去。他所招募的丁勇，腐败无能，白拿官饷。他们既不练兵习武，又不尽心巡查，而是整天泡在茶坊酒肆里，聚众赌博吸烟。当时曾有人效仿唐朝刘禹锡的《陋室铭》写下这样的诗：“号衣二片白，烟铺一灯青，可以沽美洒，误拳经。无胡笳之乱耳，无战斗之劳形。”这说明这些丁勇是不能担负起防堵太平军重任的。但是会馆董事们是愿意办团练的，他们可从借机壮大自己的势力，增强操纵地方事务的权势。秘密会党帮派的成员为打进敌人内部，也积极报名应募，这就扩大了会党的力量和影响，为起义创造了条件。
太平军并没有马上东下，清朝当局负担不起办团练的官饷，下令裁撤团练，被裁下来的人自然不满。在团练中的会党帮派成员也对清朝当局不满。一次，充当大东门外紫霞殿勇头目的百龙党潘起亮、张汉宾带领手下几十人，与城内道署后地藏庵勇发生械斗，吴健彰对被抓住的参与械斗的人，严刑拷打。署理上海知县表祖德抓到潘起亮和张汉宾后，命人用藤条对二人严厉抽打，后又锁在县署前的大石上。终因抗粮农民冲击县署，二人才得以逃脱。袁祖德对被捕群众滥施淫淫威，残酷用刑，引起了人民群众的强烈不满。
同年夏秋之交，上海小刀会积极准备举行起义。刘丽川派人到广东南海佛山镇（今佛山市），同当地天地会首领陈开、李文茂约期起义。与此同时，青浦抗粮农民也参加了天地会，与小刀会联合起来，准备联手抗清。清朝当局几乎闻到风声，8月10日，吴健彰发出告示，要求人们解散会党，改恶从善，到官府自首，知情者要报案。他想用威胁恫吓的办法分化瓦解小刀会。8月中旬，袁祖德带领几百名官兵，到县城北门小刀会处所搜查，逮捕了领导人李咸池等10余人。吴健彰又召集各地会馆董事，让他们去压制准备奋起反抗的群众，让地主士绅阻止船伕中的小刀会众人参加起义。9月2日，吴健彰派人在福建会馆前架起一门大炮，准备镇压小刀会。
小刀会领导人并没有被吓倒，他们利用团练作掩护，在敌人内部发展自己的力量，抓紧筹备起义。起初，刘丽川准备在这年冬天清朝当局办理漕粮北运时起义，夺取漕浪，作为起义军的粮食来源。因吴健彰下令解散秘密会党，刘丽川便决定提前起义，预定在9月18日举起义旗。大街小巷盛传小刀会将起事，城中绅商纷纷迁徙他处。上海小刀会领导人与嘉定和青浦方面商讨，最后决定嘉定首先起义，上海方面紧随其后。
9月5日，嘉定起义爆发，第二天消息传到上海。清朝当局惊慌失措，立即加强防范。上海小刀会领导人决定马上起义。9月6日这一天，他们将各店铺的红布购买一空，以便用红布包头作为起义军的标志。地主豪绅连夜纷纷逃出城外。
9月7日凌晨，文庙正举行祭祀孔子的大典，刘丽川等指挥600人左右的小刀会众人，头戴红巾，手持器械，潜至小东门与北门附近，驻扎在小东门内的广东籍壮勇700多人，作为内应，打开城门，小刀会众人蜂拥而入。北门附近会众也冲进城里，两队会众向知县衙门冲去，城内守备人员纷作鸟兽散，很快逃得无影无踪。县署中的40名广东乡勇，也是小刀会成员，他们戴上红巾，加入起义行列。署理知县袁祖德被起义军当场抓住，他在起义军面前还硬充好汉，以天子命吏壮胆，死活不肯交出印信。曾受其迫害的潘起亮，挥刀向前，砍掉了袁祖德的一个手指，其他起义军挥舞刀矛，袁祖德登时一命呜呼。起义军随后打开监牢，释放了被关押的群众。
起义军又向道台衙门进攻。吴健彰负隅顽抗，他让人打开重门，又向空中开枪开炮，想吓退起义军，未能得逞。他凶相毕露，命令勇丁向起义军开炮，不料勇丁却把炮口调转过来，原来他们也是小刀会成员。他们从腰间取出红巾，吴健彰吓得魂飞魄散，终被起义军活捉。昔日凶神恶煞般的吴健彰，此刻成了丧家之犬，他像一只哀怜的小狗一样乞求饶命，拱手交出了官印。起义军占领道署，销毁科房案卷，缴获了道库内储放的44万两银子。
起义军将道署作为大本营，又去攻打海防署和参镇署等衙门。清朝当局的文武官员，有的脱掉朝服，混在人群中逃到城外，有的见末日来临，自杀身亡，有的到处躲藏。起义军在3个小时内就占据了清朝当局的主要衙门，并控制了全城，每道城门都有起义军把守。
起义军以排山倒海之势推翻了清政府在上海的统治，随即建立政权。根据天地会“反清复明”的宗旨，这个新生政权称“大明国”。刘丽川称大明国统理政教招讨大元帅，李威池称平胡大都督。随后，陈阿林被封为左元帅，总理军务，林阿福被封为右元帅，兼署上海县事，陈芝伯为护理副元帅，徐渭仁为参谋，总理财政，潘起亮为飞虎将军，徐耀为常胜将军，蔡永良为扫北将军，张汉宾为征东将军，朱月峰为征南将军，周秀为正印将军，刘海、曾七、吴进为将军，李绍熙为掌一切军机，李少轩为筹办大军务，主持总府，谢静轩为总办军务，沈国华为参赞大臣，徐星怡为随营参赞，陈晓湖为参赞，吴兰台为参谋，沈纪明为筹办粮务，曹子房为筹备军械，潘清泉为游击，夏祖望为筹防局主，陈阿明、林阿周、刘进等人为先锋，萧奎为太医院等，他们均为大明国的领导集团。
当日下午，刘丽川、李威池代表新政权发布告示，揭露清朝政府的腐朽暴虐的罪行：贪官污吏，布满市朝，少廉鲜耻，横征暴敛，卖官鬻（yù）爵，豺狼当道，剥削民脂民膏，官府如同盗贼。告示言明起义军的宗旨，目的是剿灭贪官，以除残暴。同时要求城中百姓保护正常社会秩序，士农工商，各安常业。告示严明起义军“军令如山，秋毫无犯的纪律”，提出“四斩”之原则：“不听号令者斩，奸淫妇女者斩，掳掠财物者斩，偷盗猪狗者斩”。这些对于小刀会的斗争起了积极作用。
起义军乘胜前进，9月8日早晨，他们进攻设在外滩的江海关，缴获了藏在那里的许多枪械，附近百姓也冲进了江海关，将桌椅、门窗、板壁等物全部搬走，这个清政府的征税机关顷刻间就被捣毁了。起义军还查抄当铺，责令富户捐出银两，同时保护商民，派人维持秩序，对乘机抢劫的盗贼，当场正法。起义军纪律严明，不掳财物，不扰害居民。起义军纪律之好，连外国人和清政府也不得不承认。
起义军深受上海人民的拥护，人们踊跃参加起义军，入伍者络绎不绝，在起义军占领县城的当天午后，就有1000余人参加了起义军。9月8日，周立春带领嘉定、青浦的起义军4000人前来上海，增强了上海起义军的实力。起义军为扩大和巩固革命政权，由上海、嘉定两路派兵出击，9月9日占领宝山，9月10日占领南汇，9月13日占领川沙，9月17日占领青浦。在12天内，攻占了6座县城。不久，苏州的天地会和镇海、宁波的双刀会也发动武装起义，响应上海小刀会起义。
上海小刀会起义给清朝封建统治者以巨大的打击，从皇帝到“江南大营”的统帅向荣都发出哀鸣。向荣沮丧地说：上海及其附近地区，是苏南的“菁华之地”，上海的关税是“江南大营”军饷的主要来源，而且即将到来的漕粮海运，成了至关重要的问题。清政府为了保护上海这一重要的经济命脉，从“江南大营”抽调一支有相当实力的反革命武装前往上海及其附近地区，镇压小刀会起义，在“江南大营”帮办军务的署理江苏巡抚许乃钊是这支反革命武装的总指挥。
清朝对上海小刀会起义的极端重视，说明了上海小刀会起义给予清朝封建统治的打击，是多么沉重！
从上海小刀会起义胜利的第一天起，外国侵略者就密切注视事态的发展。美国传教士晏玛太和美国公使马沙利，为营救被俘的道台吴健彰，向刘丽川耍了不少花招，进行各种欺骗，最后把吴健彰劫走了。吴健彰脱逃以后，重新组织力量向上海小刀会进行反扑。