历时约一年半之久的上海小刀会起义，最终被中外反动派联合镇压下去了，大批起义军将士惨遭杀害，但是起义军并没有完全被杀绝，在广大群众的掩护帮助下，仍有一部分将士冲出重围。虎口逃生。他们并没有被征服，敌人的刀枪可以杀害起义军的生命，但却不能摧毁起义军将士反抗中外反动派的革命意志和坚强决心，他们揩干净身上的血迹，重新拿起武器，在各地继续进行反抗斗争。
潘起亮率领的一支起义军，在1855年2月17日出城后，凭着他们的机智勇敢，在广大群众的掩护下，利用他们懂上海方言的有利条件，终于冲出了敌人的重围，他们历尽千辛万苦，终于到达了镇江，参加了太平军，后来到过太平天国的都城天京（今南京）。随后，潘起亮率领的小刀会队伍隶属于侍王李世贤部，转战于安徽、江西、浙江等地。1861年12月9日，潘起亮引领李世贤部下的太平军，迅速突破中外敌人设置的重重障碍，发动对宁波的进攻。他和太平军战士英勇奋战，在南门外渡过城壕，顺着梯子爬上城墙，清军抵挡不住太平军的凌厉攻势，丢盔卸甲，纷纷逃命。清朝署理浙江提督陈世章、宁绍道台张景渠逃入英国领事馆，由法国军舰送往定海。太平军占领宁波后，掌管了宁波海天，潘起亮为太平天国立了大功。
1862年4月，太平天国在江东建立海关，称天宁公，公布税则，潘起亮被任命为海关监督，负责征收商税，颁发执照，至今仍保留下来一张盖有“太平天国天朝九门御林真忠极国衡天安潘起亮”印章的税票。衡天安是太平天国对潘起亮所封的官爵号，安爵在太平天国六等爵中排第二位，说明潘起亮的地位很高。
1862年5月10日，中外反动派联合进攻宁波，清军攻城，美、法两国军舰炮火配合。太平军奋勇抵抗，但因寡不敌众，宁波失陷。随后、中外反动派相继攻克余姚、慈溪，潘起亮随戴王黄呈忠退往上虞。他们同太平军首王范汝增部合作，于9月26日再克余姚。11月18日，余姚再度失守。黄呈忠部仍据上虞。这时，潘起亮正招集广帮，即小刀会或天地会成员，来浙东助战，希图再克宁波，清军急忙拼凑队伍，于11月22日打败黄呈忠部，占领上虞，以免潘起亮招集的广帮和太平军会合起来。
1864年7月19日，天京陷落，局势急转直下，潘起亮并未丧失斗志，继续跟随李世贤部坚持战斗，从江西、广东进入福建，他被封为天将。10月9日，他随军进占永安，留此驻守。12月27日，潘起亮率部由永安转移到坎市。1865年2月，潘起亮奉李世贤命令，前往漳州，准备攻长泰、泉州，切断清军饷道，以攻取福州，但因计划被敌人探知，敌人加强了长泰的防守，未能实现。5月15日，漳州陷落，潘起亮随军西撤，转战南靖、平和、永定等地。5月26日，他们在福建永定塔下搭架三座浮桥，正在渡河，遭到清军突袭，敌人枪炮齐发，又有小股清军绕过岸边，从背后进攻，他们两面受敌而失败。潘起亮在战斗中不幸落水身亡。这位小刀会起义军的著名将领，在上海失陷后又加入太平军，又同敌人战斗了10年。
还有一支由闽帮组成的小刀会起义军，从上海县城突围出来后，辗转到江西。这时，周春、葛耀明等率领的广东天地会起义军在围攻广州失败后，转入江西活动，谋求与太平军会合。所以，这支由上海来的小刀会起义军便在江西加入了广东天地会起义军，他们同样以红巾裹头为标志。
翼王石达开带领太平军进入江西后，于1855年12月9日攻占新昌（今宜丰），12月18日攻占瑞州（今高安），12月19日攻占临江，1856年1月8日攻克袁州（今宜春），3月1日攻克吉安，3月28日占领抚州。在这段时间，包括小刀会起义军在内的广东天地会起义军，接连投奔石达开，成了太平军中的“花旗”部队。他们加入太平军后，壮大了太平军的力量，共同投入反对中外反动派的斗争，连战告捷，将湘军魁首曾国藩困于南昌，又分出部队由石达开带往天京，参与摧毁包围天京三年之久的清军江南大营，从而使太平天国前期的军事力量发展到最高峰，太平天国的一系列军事上的胜利，其中也有小刀会起义军余部的功劳。
还有一部分起义军，撤出上海县城后，退至嘉定真如镇与南翔镇一带坚持斗争。起义军余部吴阿荣等人退到真如镇后，集结起一支数百人的队伍，称“三千帮”，当地士绅曾说：吴阿荣本系红头，曾在上海城中据守，后来漏网。1860年6月，他们数人痛打引导外国军队来到镇上的通事，而被外国军队押往上海，加以迫害。与此同时，太平军攻打上海，南翔一带的起义军余部立即起来斗争，配合太平军作战，7月1日，太平军攻陷松江城，7月15日，进攻七宝镇。地主武装组织抵抗，太平军不久放弃松江北去。诸翟镇的地主武装也来攻击太平军并攻剿南翔一带小刀会余部。还有一部分小刀会员退出上海县城后，在浦江乡下隐藏起来，秘密从事反抗斗争，称浦东塘桥帮。太平军进攻上海时，他们与太平军取得了联系，随即聚集数千农民，日夜赶制旗帜，准备起来配合太平军，因走漏了风声，遭到上海知县刘郇（xún）膏的镇压，还没起义即被扑灭。
还有一支小刀会起义军逃到了海上，他们成为一支力量很大的海上抗清武装队伍。小刀会起义军中，有许多广东、福建沙船上的船夫，上海陷落前夕，他们实行转移，虽有伤亡，但不少人安全脱险。起义军撤出上海县城后，也有一些小刀会员逃到了海上。小刀会员到了海上，继续同清朝统治者斗争。1855年4月11日，江苏、浙江运粮漕船，行到山东黑水洋石岛以南时，“被艇匪抢劫银米”，4月15日，有数十只装豆卫船被截。清军官方禀报说：山东石岛、成山一带，广东盗贼很多，开始时骚扰南来卫船，每船索银1100两，随后抢截北上沙船，银、米都有损失，其他船只不敢前进，影响海运大局。清朝统治者深感头疼，命令山东、江南以及盛京（今辽宁）等地大力增调兵力，严加防范，但仍无济于事。从4月至7月，官船商船频繁被“盗船”、“盗艇”所劫。据《大清历朝实录》记裁，这段时间官船被劫至少有八九次。
4月27日，有“匪船”5只，约三四百人，在即墨县之金口掳去官船5只，要求用银来赎；同日又在胶州地面，开放大炮，掳走两只船；再到青岛，开炮击毁几处清军住房，劫走几名水手，又劫获货船1只。这使清廷感到震惊。
5月30日，在石岛（伉荣城）洋面，曾有几艘“盗船”企图攻占口岸，清守军开炮迎击，清军11艘船被轰毁。第二天又来了1只“盗船”，配合前一天的船只来攻，清军凶猛的炮火，轰毁“盗船”1只，“盗船”才退却。
6月24日，突然有10余只“盗船”，随同商船一起，闯进没沟营口，然后开炮，劫掳商船，将所有进出船只截住，索要银两。直到7月10日，“盗船”才退出海口。没沟营口商船云集，税课攸关，清廷命令当地将官，设法堵剿，严密防范。
7月13日，“盗船”又驶回没沟营口，后又窜入复州（今属辽宁瓦房店市）娘娘宫海口，登岸袭击清军，并将清军战船围截烧毁。7月23日，又有“盗艇”32只，驶至金州（今辽宁金县）羊头洼口，直扑岸边，经清军轰击，几名“盗匪”被击毙，“盗艇”仍盘踞营口。清廷命令清军官兵严守口岸，并到山海关、奉天处洋面，攻剿“匪艇”。
7月16日，有南来的“盗艇”三四十只，占踞石岛口门。7月18日，“有盗船十七只”，进入即墨县金家口外香岛停泊。清廷怕这些“盗船”声东击西，命盛京、直隶、山东沿海等地严加防堵，又令怡良等再派水师赴山东协办攻剿。
这些“盗船”、“盗艇”是属于上海小刀会余部的，他们活跃在山东、直隶，盛京等地沿海的广阔海面上，活动范围广泛，机动灵活。他们截留官府船只，夺取漕粮银两，烧毁敌人兵船，给清朝漕运造成严重的威胁。他们甚至登岸袭击清军营地。小刀会余部的海上斗争，打击了清朝的反动统治，有力地配合了太平天国的反清斗争。
史实充分说明，上海小刀会起义军余部并没有被吓倒，被征服，他们继续高举反抗斗争的旗帜，同中外反动派进行顽强斗争，充分表现了小刀会起义军不屈不挠的斗争精神。