在清朝政府的残暴专制统治下，南方各省出现了以秘密形式组成的反抗团体，上海也是如此。上海是五方杂处的地方，除上海本地人外，还有大批外来的广东人、福建人和浙江人，以及其他省份的破产失业的农民和手工业者。由于人员复杂，所以这类民间秘密团体显得很复杂，其中主要的秘密会党是天地会，其次是小刀会，还有其他一些秘密团体。天地会大约创立于清朝康熙或乾隆年间。它尊崇天地，“拜天为父，拜地为母”，有供奉香烛、饮鸡血酒等结拜仪式，传授“开口不离本，出（或作举）手不离三”及“三八二十一”等口诀，其活动范围遍及福建、台湾、浙江、广东、广西、湖北、湖南、江西、江苏、四川、山西、云南、贵州等地。有的地方把天地会改称“三点会”。有诗这样写道：“三点暗藏革命宗，入我洪门莫通风，养成锐势复仇日，誓灭清朝一扫空。”有的地方还把天地会改称“三合会”，这一名称是取“天时、地利、人和”三者的结合，有吉祥之兆，保证成功的意思。三合会的结拜仪式和口诀等都和天地会相同。三合会中流传这样的诗句，“三合河水出高溪，阳春庙里有诗题，你今吃了三合水，保佑五主早登基。”入会仪式是要饮一口水，就是诗中所说的“三合水”。从上述材料看来，天地会的活动地区也较广泛。天地会是由刘丽）11传到上海来的。刘丽川（1820——1855年），广东香山县（今中山市）人，本人是农民，他看到清朝政府腐败无能，人民流离失所，便投入了反清牛争。最初，他在香港参加了天地会，1845年11月19日，由劳德泽传斗，接任该天地会领导人，开始暗地招募军士，进行反清活动。豆849年，刘丽川从广东来到上海，他会说英语，因此先是当糖业揖客，后又当丝茶栈伙计，他还以抄录药方书替人治病为职业。说也奇怪，他治病很有效验，不少人慕名而来。对于前来求医的贫苦人，他慷慨相助，个收诊费，有义侠之风，豁达大度，和蔼可亲，在群众中的威信很高。与此同时，他积极从事天地会的宣传和组织工作，动员广东、福建的船上水手入会。由于他有很强的活动能力和组织能力，头脑灵活、目光敏锐，又具有很高的威信，所以他被推为首领。作为民间秘密团体之一的小刀会，原先有两个流派；一是由北方白莲教系统的大刀会演变而来，流行于安徽北部；另一个是南方天地会的分支，流行于福建。这两个流派的小刀会的宗旨、组织、仪式都不相同。上海小刀会是从福建传来的。除天地会及其支派小刀会外，当时k海一带还有双刀会。罗汉党、青巾会、编钱会、宁波帮、福建帮、南京帮、江北帮、底作帮、蓝线党等秘密团体。这些大大小小秘密会党与帮派，各立门户，时常为扩充各自的势力范围发生械斗，尤其在福建人和广东人聚居的地方比较突出，械斗屡禁不止。械斗的结果往往是一败一伤或者两败俱伤，不利于反清斗争的开展。为了消除它们之间的敌对情绪，有必要将这些会党与帮派组成统一的团体。1853年春，太平军占领江苏南京、上海及其附近地区，清军驻防力量大为减弱，5月中下旬闽南小刀会在黄德美、黄位的领导下于海澄县起义成功。在这种形势的鼓舞下，上海一带原来属于不同会党和帮派的数千群众跃跃欲试，准备奋起反清。于是，他们采取行动，组成一个统一的名为上海小刀会（又称匕首党）的秘密团体。
上海小刀会的组成，也和西方列强的入侵使清朝政府在上海的统治削弱有关。当时、上海的清朝当局面对着太平天国运动的猛烈冲击和列强不断侵略扩张，自顾不暇，也就不能对秘密会党进行有效的镇压，这就为小刀会的活动留下了空隙。小刀会这个组织包括了当时上海本地以及福建、广东、浙江宁波、江西等地在上海的秘密团体。上海小刀会是在 1853年 5月下旬至7月间成立的。在这个新的统一团体中，代表天地会的刘丽川被拥戴为首领；代表小刀会的李威池为第二位领导人，李仙云、林阿福、陈阿林都是重要的领导人；代表百龙党的潘起亮、朱月峰、蔡永良、张汉宾和罗汉党的徐耀等人，也都是小刀会的领导骨干。
小刀会的会员身上都藏有一把小刀，作为标志，刀长一尺七寸，上带一块方布，分别书彪（bi do）彪（sh6u）彪（h6）彪（h6）翘（T0ng）五字，作为记号，又刻木戮，上有奇异之字，不可意解。这种以为记号的方布，就是小刀会的“腰凭”，背面针有“顺天洪英义兴公司”的红印，说明上海小刀会还使用“义兴公司”的称号。
上海小刀会成立后，减少了各会党帮派之间的矛盾，使原来各自分散、独立的组织联合起来，形成一股强大的力量，为展开大规模的反清斗争，做了十分重要的组织准备。但这种联合并没有达到真正的统一，小刀会内有七党，闽广为五党，宁波、上海各为一党，这对小刀会以后的反抗斗争，投下了阴影。
小刀会成立后，积极发展组织，参加者主要有航运水手和农民，还有手工业者、商人、华侨、城市劳苦群众和游民等。在上海的广东和福建等地的船夫水手处境艰难，踊跃参加小刀会。小刀会有广泛的社会基础，参加者成分复杂，包括了社会上的许多阶层。一场大规模的武装斗争即将爆发。