1937年底，坚持闽西南游击战争的2000多红军游击队编成新四军第2支队，张鼎丞担任支队司令员，他率领第2支队将士从龙岩白土出发，开赴苏皖抗日前线。
张鼎丞率部从皖南出发，来到苏皖交界地区的江宁、当涂、溧水等县，开展抗日宣传活动。他率领新四军指战员，广泛发动群众成立工人、农民、青年、妇女抗敌协会等抗日组织，同当地的顽匪恶霸进行斗争。
抗日战争开始不久，苏皖交界地区土匪横行，“司令”、“团长”多如牛毛。张鼎丞率部改造收编了大批游击武装，消灭了一些拒不抗日、鱼肉人民的土匪恶霸。据当地群众反映，小丹阳一带有一位称霸四方、横行乡里的土匪头子朱永祥，拥有400多人的队伍，自恃人多枪好，专门欺压百姓。日军的频繁“扫荡”已经让老百姓苦不堪言，日本鬼子前脚刚走，朱永祥便率土匪后脚跟来，对老百姓再一次洗劫，人民群众恨得咬牙切齿，但慑于朱永祥的淫威又无可奈何。更为可恶可气的是，朱永祥为了讨好日本鬼子，还把新四军派去做联络工作的人押送给日军。张鼎丞认为，对朱永祥这类汉奸，不杀不足以平民愤。
张鼎丞迅速派人摸清了朱永祥的活动规律，待机除掉这个土匪恶霸，为当地的抗日工作创造良好环境。
一天晚上，淅淅沥沥下着小雨，天空黑得像锅底一样伸手不见五指。经侦察得知，朱永祥带着三个卫士走出村子，欲到他的一个姨太太家过夜。张鼎丞指挥部队设下埋伏，在途中将朱永祥一举抓获。第二天一早，公审大会的会场上人山人海，新四军当众枪毙了朱永祥，使老百姓拍手称快。
树倒猢狲散，这个400多人的队伍不战自溃，新四军第2支队一下子缴获了400多支枪。此后当地群众若遇到强盗，便声称请“四哥”（即新四军）做主，土匪心惊胆战，张鼎丞率领的新四军部队在当地威望大增。
1939年5月，在江南抗日前线的张鼎丞接到中共中央电报，要他立即前往延安工作。7月间，张鼎丞到达延安。毛泽东在窑洞前迎接远道而来的他，深情地说：“你回到家了，路遥知马力啊！”毛泽东的这句话，意味深长，其中就有肯定张鼎丞在抗日战争中的辉煌业绩之意。