窦建德起义后第二年，杜伏威、辅公祏在长白山举起反隋旗帜。杜伏威是齐州章丘人，辅公祏是他的好友，齐州临济人。他俩生活都极端贫困，最初参加左才相起义军，但得不到信任，就离开左才相，自己组织队伍。杜伏威强悍有力，大公无私，在作战中“出则居前，入则殿后”，得到广大群众的拥护。
大业十年（614），齐郡一带农民起义遭张须陀的围剿，左孝友部失败。屯军祝阿（今山东长清县东北）的卢明月，也在这年年末被张须陀击溃，残部向河南方面转移。在这样情况下，杜伏威、辅公祏也离开齐郡，转向淮河流域。
十二月，杜伏威到达淮北。这时苗海潮领导下的农民军在下邳（今江苏邳县）活动。杜伏威为了壮大力量，派辅公祏劝说苗海潮合力抗隋，并表示：如果你能当主帅，我们就听你指挥，假若你觉得无力领导这样大的队伍，就听我们指挥。再不然就两军较量一下，谁强就服从谁。苗海潮兵力较弱，只好和杜伏威合并。
两军合并后，杜伏威向淮南进军，准备包围江都。江都通守派宋颢前来镇压。杜伏威诱敌深入，把敌人引向芦荡，然后从上风纵火，迫使隋军陷入大泽，消灭了很多隋军，取得反击战的胜利。
大业十一年（615），杜伏威合并了赵破阵部，占领安宜（今江苏宝应县西南）等地。冬天，进占六合（今江苏六合）。
同时，另一支农民军李子通，夺取了海陵（今江苏泰州市），左才相部也到达淮河沿岸。他们的队伍，都发展到几万人，并且在淮南稳定下来。
大业十二年冬天，隋炀帝回到江都，派遣公孙上哲率近卫军围剿杜伏威。在盐城（今江苏盐城）一带被杜伏威歼灭。大业十三年（617）正月，炀帝又派大将陈稜领精兵八千余人前来进攻。
陈稜是能征善战的将领，曾远征琉球，并多次打败农民军。他到达前线以后，坚壁不战，消磨农民军的锐气，以逸待劳。杜伏威、辅公祏识破了陈稜的诡计，送他一套女人服装，称他 “陈姥”。陈稜终被激怒，全军出战。杜伏威、辅公祏各带几百骑兵闯入敌阵，把陈稜军打得大败。农民军乘胜攻破高邮（今江苏高邮），占领历阳（今安徽和县）。杜伏威自称大总管，以辅公祏为长史，建立了农民政权。同时分遣诸将，向淮南一带扩大领地，合并了不少小股农民军。后来又派大军渡长江，打败李子通，占领丹阳（今南京），建国称吴。在农民军统治区内，实行“轻赋敛”政策，取消殉葬之风，严惩贪官污吏，“无轻重皆杀之”。他们是江淮地区最强大的农民军。
江淮地区另有一支李子通领导的农民军。李子通是东海（今江苏连云港）人，家贫贱，以渔猎为业。平时，他经常扶老携幼，见义勇为。大业九年（613），他在长白山参加左才相起义。由于李子通不好杀人，所以“人多归之”，半年之间，部众发展到1万余人。后来他和左才相发生矛盾，自己引兵到达淮南，并且一度和杜伏威合作。
淮南农民军势力的发展，使隋朝的财政受了很大影响。他们为了摆脱困境，于大业十年（614），派大将镇压李子通，子通失败，东奔海陵（今江苏省泰州市）。由于当时破产农民甚多，所以到这年七月，这支农民军又扩大到数万人。
武德元年（618）三月，江都政变，宇文化及带领十万人到中原争夺天下，他任命陈稜为江都通守。由于江都空虚，李子通乘机围攻陈稜。陈稜向大士族沈法兴和杜伏威求救。当时沈法兴正屯兵扬子（今江苏仪征），杜伏威在清流，他们之间相隔数十里。沈法兴招募江南流民，夜袭杜伏威，扩大了沈法兴和杜伏威的矛盾，因而无力协助陈稜，从而江都孤立。李子通猛攻陈稜，攻克江都，称帝，国号吴，年号明政。这样，农民军的声势大振，又有隋丹阳守乐伯通率万余人投降李子通，从此，这支农民军的势力便扩充到长江以南。
武德三年（620）十二月，杜伏威派辅公祏围攻李子通。这时李子通的部众甚多，超过对方10倍以上。但辅公祏智勇双全，他精选甲士千余人，各执长刀打先锋，另以千余人殿后，有临阵懦怯者立即斩首。辅公祏亲自督战，双方战斗非常激烈。结果李子通大败，降者数千人。李子通食尽，放弃了江都，渡江到了京口（今江苏镇江市），杜伏威进占丹阳。李子通奔向太湖区域，扩充农民军达两万余众，准备攻打沈法兴，夺取浙北地区。
沈法兴是吴郡大族出身，曾任吴兴（今浙江吴兴等县）太守。他以诛宇文化及的名义扩大武装，掌握精兵6万，占领了吴郡、余杭（今浙江杭州市）、毗陵（今江苏常州市）等10余郡，武德二年（619）八月自称梁王，改元延康，署置百官。武德三年（620），李子通渡江攻沈法兴，取京口。沈法兴败走奔吴郡，又被李子通袭破，部下也纷纷反对他，最后投江自尽。李子通乘机占领沈法兴故地，占有“北自太湖，南至岭，东包会稽，西距宣城”地区。
浙江天台国清寺古塔武德四年（621）十一月，唐政府平定中原，向江南进军。这时杜伏威、王雄诞已降唐，王雄诞奉命镇压李子通。李子通被俘，被解送长安。
江淮农民起义的最后阶段是辅公祏的反唐斗争。
武德二年（619），杜伏威降唐，五年被留居长安。他离开丹阳的时候对辅公祏、王雄诞说：“我到长安以后，如果他们保我人身安全，并且有了官职，你们也共同归唐。否则一定要坚持反唐，不要放下武器。”后在长安被毒杀。
实际上，辅公祏和杜伏威、王雄诞间向来不和，杜伏威走后，长期没有音信。辅公祏利用王雄诞卧病时机，伪造杜伏威的信件，宣称伏威进了牢房，我们应当起而反唐。武德六年（623）七月，辅公祏夺了王雄诞的兵权，发动二次起义。辅公祏在丹阳称帝，国号宋，署置百官，任左游仙为兵部尚书、越州总管，以江州农民军领袖张善安为西南道大行台，联合起来共同反唐。首先，派大将徐绍宗进攻海州（今江苏连云港市），令陈正通夺取寿阳（今安徽寿县）。另一方面，辅公祏又派张善安出兵北伐，设法扼守长江中游。张善安系兖州人，于大业九年（613）在齐郡起义，最初只有百余人，后来合并了孟让农民军的残部，扩充到八九百人。他们打破了庐江郡（今安徽庐江），从庐江渡江。武德六年（623）七月，他和辅公祏联合反唐。张善安派兵北进，攻克了夏口（今湖北汉口），唐将周法明出兵黄州（今湖北黄冈），准备讨伐张善安。周法明丧失警惕，夜间在船上饮酒，被张善安的部下刺死。
当辅公祏第二次起兵反唐的时候，中原的农民军业已失败，全国的政治形势对江淮农民军非常不利。这年十一月，朝廷派李孝恭、李靖等率领强大水陆军围剿这支农民军。武德七年三月，辅公祏军被击溃，光荣牺牲。
隋末农民起义是唐朝以前历史上规模最大的起义。这次起义狠狠打击了士族门阀及反动官员，从此“燕赵右姓，多失衣冠之绪。齐韩旧俗，或乖德义之风。名虽著于州闾，身未免于贫贱” （《唐会要》卷八十三）。“关东魏齐旧姓，……皆沦替”（《旧唐书》卷八十二《李义府传》）。另一方面，由于隋朝政权被推翻，部分地主死亡流徙，有些农民取得土地，唐初个体自耕农显著增多。与此同时，过去被严格控制和奴役的部曲、佃客，多在农民战争中争得人身解放。这次农民大起义，又推动了唐初的政治改革，“贞观之治”就是在隋末农民战争推动下出现的。