为了回击蒋介石国民党顽固派的反共阴谋，抵制蒋介石妄想取消新四军军部的命令中共中央决定重建新四军军部。1月20日，中共中央任命陈毅为新四军代军长，张云逸为副军长，刘少奇为政委，赖传珠为参谋长，邓子恢为政治部主任。同日，中共中央又发布了成立新四军军分会的任命通知，刘少奇为军分会书记，邓子恢在安徽工作，以饶漱石为代理政治部主任。新四军由4个支部扩大为7个师，完全脱离了国民党当局的羁绊，不再属于国民党的哪个战区的序列，亦不再需要国民党来发放饷弹，在敌后广阔天地里纵横驰骋，狠狠打击敌伪军。
1月23日，新四军代军长陈毅、副军长张云逸等正式宣布就职。1月24日，陈毅在《江淮日报》发表就职通电，表示本人就任代理军长，统率全军9万之众，誓与日寇汉奸反共投降派奋斗到底。
25日下午，新军部成立大会在江苏盐城的游艺园内举行，会场上布置得庄严而又隆重，主席台上横挂的是“指挥若定”，“义旗高举”等鲜红的锦旗。各党派人士、各阶层代表济济一堂气氛十分热烈。当刘少奇、陈毅等领导登上主席台时，会场上欢呼雀跃，群众热烈的高呼“拥护党中央重建军部！”“拥护陈代军长！”等口号当刘少奇宣读了中央军委关于重建军部和新军部领导人的任命命令后，整个会场沸腾起来了，报以雷鸣般的掌声。接着陈毅发表就职演说，他说：“今天在这里举行庆祝新四军新军部成立大会，这在中国革命史上以及将来都是一件大事。我想只要是抗战的爱国同胞，听到新四军新军部的恢复，一定会欢迎、拥护的，仇恨的只有日本帝国主义，反共顽固派与亲日派。因此，今天军部的恢复，是直接有利于国家民族前途的。”陈毅坚定不移地说：“我们前面还有很多困难和风险，只要我们坚持斗争，最后胜利是属于我们的！”会场响起雷鸣般掌声，激励着每个新四军战士，鼓舞着每一位爱国志士。
接着刘少奇讲话，痛斥了国民党顽固派的破坏团结抗战，发动皖南事变的滔天罪行，深刻揭露国民党顽固派制造分裂，妄图投降日寇的阴谋。他号召全军坚决执行党的统一战线政策，服从党中央领导，做好准备，随时粉碎顽固派的任何阴谋。
1月28日，陈毅收到中共中央军委任命新四军各师军政负责人的指示。随后，将陇海路以南的新四军、八路军9万余人统一整编为7个正规师和1个独立旅。第一师兼苏中军区：师长粟裕，政委刘炎，政治部主任钟期光。第二师兼淮南军区：师长张云逸兼，政委郑位三，后为谭长林，副师长罗炳辉（后为师长），参谋长周骏鸣，政治部主任郭述申，副主任张劲夫。三师兼苏北军区：师长兼政委黄克诚，参谋长彭雄。四师兼淮北军区：师长兼政委彭雪枫，不久，政委由邓子恢兼，参谋长张震，政治部主任肖望东。五师兼鄂豫皖军区：师长兼政委李先念，参谋长刘少卿，政治部主任任质斌。六师（在苏南）：师长兼政委谭震林，参谋长罗忠毅。七师（在皖江区）：师长张鼎丞，政委曾希圣，政治部主任何伟。独立旅：旅长梁兴初，政委罗华生，政治部主任刘兴元（该部于1942年秋奉命由淮海区北上山东归一一五师建制）。盐城重建军部后的政治部主任邓子恢；组织部副部长张凯；宣传部部长钱俊瑞；除奸部部长汤光恢，副部长梁国斌；敌工部部长刘贯一，副部长李亚农；供给部部长宋裕和；卫生部部长沈其震，副部长崔义田；江淮日报社副社长王阑西。
新四军军部在盐城的重新组建，使日本侵略者和国民党反动派消灭新四军的企图完全破灭，他们把新四军视为眼中钉、肉中刺，日本帝国主义狂叫要“完成皖南事变未完之功”。妄图乘新四军还未缓过气的时候一举消灭我新四军。
1941年1月下旬，盘驻在镇江地区的日军第12旅团移到苏中沿江和运河沿线，并侵占了黄桥镇。与此同时，卖国求荣的国民党反动派也想借此机会彻底打跨我新四军。在蒋介石的部署下，韩德勤部准备从背后偷袭我盐城军部。早有降日之心的李长江这时也跳出来，准备公开投敌，配合日本鬼子进攻新四军。
刚刚受到沉重打击的新四军勇士们又面临一场保卫军部和华中抗日根据地的严酷斗争。经过残酷的战火洗礼的新四军将士团结一心，同仇敌忾，决心给日伪军以迎头痛击。
2月上旬，日军以盐城我新四军军部为主要目标，向我苏中、苏北根据地开始大规模“扫荡”，并向扬州、高邮、南通等地集结兵力。
2月15日，无耻汉奸李长江在泰州公开投敌，当上了伪军第一集团军总司令，把自己钉在了历史的耻辱柱上。为了打击日伪的嚣张气焰，给李长江当头一捧。陈毅、粟裕于18日指挥新四军第一师的官兵从隐蔽集结的地区出击，沿公路向西猛攻敌人，早已气炸了肺的勇士们英勇出击，第二旅首先打下了姜堰镇，第一、三旅也迂回包围了泰州。刚刚当了8天总司令的李长江惊慌失措，只好凭借城内坚固的雕堡工事作最后的抵抗。我新四军健儿们避开敌人的火力，在夜间派小部队摸进城内，直捣李长江的集团司令部，李长江吓破了胆，连忙翻后墙逃窜而去。李长江一逃，城里的敌人失去了指挥，就像没头的苍蝇，乱成一团。在我军的突然袭击下，敌人的防线很快瓦解，敌人死的死，逃的逃，侥幸余生而又来不及逃跑的只好举手投降。20日早晨太阳东升之时，我军的军旗已高高飘扬在泰州这座古城上空。这一仗彻底歼灭了李长江的主力，俘虏其官兵5000余人，缴获武器弹药不计其数。
就在我军袭击泰州之时，日军为了执行其“扫荡”计划，于2月18日突然由扬州、高邮、黄桥、如皋等地同时出巢，乘我主力讨伐李长江之机侵占了海安，东台等地区，并虎视耽耽地盯住盐城。同时，派一支部队急速向泰州扑来，企图从背后偷袭我军，以解救李部。而同时，国民党的韩德勤也乘机以三个团的兵力侵占我盐阜区的部分地区，企图乘日军“扫荡”之机进入我抗日根据地。面对这种局面，已经完成讨伐李长江，打击日伪气焰任务的新四军，为了保存抗日力量，避免同装备精良的日伪军正面作战，于2月21日主动撤离了泰州，按预定计划深入敌后，反击日伪的疯狂扫荡。
1941年3月，像没头苍蝇东扑西撞了一个多月毫无收获的日军又先后派出3个旅团和几个联队，以充当炮灰的伪军开道对我苏中根据地进行反复“扫荡”，先后占领东台、兴化等一些城镇。但由于新四军发动人民群众坚壁清野，敌人得到的只是几座空城。
7日，日军抽调了五、六万人的精锐部队以几十艘装甲汽艇等大量装备分几路向我阜宁、盐城进犯，妄图一举扑灭新四军军部，侵占和摧毁我苏中根据地。狡猾的敌人趁夏季江淮河水猛涨冲走我军布设在河里的水雷和木桩的时机，开动装甲艇，在密如蛛网的河川地区横冲直撞，用小钢炮、机关枪向我根据地乱放乱扫。为了寻找我军主力，敌人派三架一组的侦察机在空中来回飞窜，地上的骑兵和野战部队也拉网般来回搜索。但是在我军严密的布防下，敌人什么也没有得到。
面对日伪这样大规模的“扫荡”，新四军和抗日群众在陈毅军长和刘少奇政委的指挥下，沉着应敌。他们首先把主力部队分散隐蔽起来，把军部直属机关，如抗大五分校、华中党校、鲁艺华中分院、江淮日报等部门的非战斗人员、伤病员及老弱妇孺都分散转移。没有后顾之忧的主力战斗部队避开敌人的锋芒，充分利用游击战的方式，运用声东击西、南攻北守、首尾夹击、打伏击、夜战偷袭等灵活机动的战略战术与日伪周旋，使数倍于我军的日伪军想打找不到对手，想袭击却连连扑空，每到一地，在我军的打击下反而顾此失彼，被动挨打，连战皆败。
与此同时，在山东的新四军第一师为了配合军部和主力部队反“扫荡”作战，也发起了进攻，围困泰州、泰兴和姜堰之敌，并攻克了天星桥、孤山、黄桥、古溪等敌伪据点，并不断袭击南通，如皋境内的敌伪据点和盐城至东台的交通线，迫使敌人大部兵力从盐城、阜宁地区仓皇南撤。第三师的两个主力团也配合第一师的行动，先后攻占湖垛、上冈。日伪军眼见“扫荡”根据地每战皆败，自己的“根据地”又岌岌可危，于是只得放弃“扫荡”苏中，将兵力北调，这样，东奔西突了一个多月的日伪“扫荡”部队，除了损失3800多人，在江淮河湖中沉下30余艘汽艇外一无所获，又夹着尾巴在苏中根据地抗日军民的欢庆锣鼓中缩回去了。
在苏中根据地抗击日伪疯狂“扫荡”的同时，国民党反动派则加紧通敌、投敌，加紧对我华北、华中抗日根据地的进攻。
皖南事变后，蒋介石为了实现其“驱逐”新四军北渡黄河，以配合日军聚而歼之的罪恶目的，乘日伪“扫荡”苏中根据地之机，调集30万反共大军向我华中根据地进攻，其矛头直指我第四师和豫皖苏边区。
蒋介石出动豫东、皖北的第二十军、骑兵第二军、骑兵第八师，并从豫西调来汤恩伯指挥的第三十一集团军所属的第九十三军和第八十五军的第二十三师，以总共14万兵力向我扑来。与此同时，李品仙、顾祝同也分别向我鄂中、皖中、皖东根据地发动猛烈“清剿”。在苏北的韩德勤也蠢蠢欲动，准备配合汤恩伯的行动。面对这种形势，中共中央华中局和新四军军部作出了坚决反击反共投降势力，确保华中敌后抗日根据地的决定，部署第四师全部坚持驻守豫皖苏地区，阻止汤恩伯向东推进；第二、七师主力分别坚守在淮南津浦路西和皖江根据地，防范桂系反动派的侵犯；第三师主力继续在盐阜、淮海区密切监视韩德勤部的动向，牵制其行动；而第一师的主力则迅速占领苏中的战略要地，并隐蔽集结，待机歼灭国民党反动军队的来犯。
我军刚刚部署完毕，1941年1月中旬，一意孤行的汤恩伯开始了他的倒行逆施，向我根据地发动攻击，其先头部队推进到涡河以南。4月初，敌军兵分三路分别由张村铺、王市集、江口集等地向我军发起猛烈进攻。一时间，烽烟滚滚，炮声隆隆，整个战场被污烟覆盖。受战火煎熬的村庄和大地发出阵阵呻吟，仿佛在控诉国民党反动派的滔天罪行。