1934年10月，主力红军北上长征以后，蒋介石调集10多万大军，向闽西根据地进行残酷的“清剿”。“左”倾机会主义者采取“保卫苏区等待主力回头”的方针，将红军24师和独立3团、7团、11团及大多数地方武装集中整编，与敌人展开死打硬拼，使闽西红军损失惨重。这时，敌人主力军进入中央苏区腹地实行疯狂的大屠杀，白色恐怖笼罩着闽西大地。
张鼎丞作为闽西根据地的创始人，刚刚被撤销福建省苏维埃主席职务，他面对现实，强压忧愤，向项英提出要回闽西打游击。
其实，早在几个月前，在宁都养病的毛泽东已经预见到第5次反“围剿”将会遭到失败。毛泽东对张鼎丞说：“鼎丞同志，将来你还是回闽西去吧，到杭、永、岩地区，那里你熟悉，可以坚持，可以发展。”听了毛泽东的一席话，张鼎丞认识到，在如此残酷的形势下，如果回到闽西，可以化整为零，发动群众，扩大红军，壮大力量，巩固闽西根据地。虽然斗争可能比土地革命更艰难更残酷，但他相信在他熟悉的闽西这片土地上能够取得更大的胜利。
张鼎丞果真沿着毛泽东指引的路走去，在那特别艰难的岁月里擎起南方一角天。
1934年12月张鼎丞与刘永生、陈茂辉等少数同志奉命出发，由于当时省委未给武装部队，张鼎丞只在长汀难民中动员一些人带8支陈旧的枪支和一部分手榴弹便回到永定，深入敌占区开展游击战争。
1935年4月在永定县溪南区赤寨乡，召开闽西南地区党政军第一次会议。在中央代表陈潭秋主持下，决定成立闽西南军政委员会，统一领导当地红军力量，开展游击战争。陈潭秋代表党中央任命张鼎丞为闽西南军政委员会主席。会议根据主力红军已经开始长征，中央苏区根据地已经沦陷，红军和游击队失去了后方依托，兵源无法补充，部队不断减员的实际情况。提出闽西红军、游击队不再是执行牵制敌人、掩护主力红军长征的任务，而是开展英勇灵活的群众性游击战争，打破敌人的“清剿”，保卫土地革命果实，保持和发展根据地游击区。张鼎丞组织部署了反“清剿”战略战术，要求大家团结一致，齐心协力，共同对敌。在张鼎丞的领导下，闽西南的游击战争进入新的发展时期。
1935年4月，敌人发动对闽西南第1次“清剿”，由于张鼎丞的主张和战略战术的正确，得到工农群众的支持和拥护，在群众的支持配合下，逐渐夺得了战争的主动权，粉碎了敌人第1次“清剿”图谋。红军力量不仅没有受到严重损失，而且打了很多胜仗，扩大了游击区根据地，树立起了胜利的信心。
1936年4月，国民党反动派发动第2次“清剿”，这也是3年游击战争最为艰苦的时期，张鼎丞根据这次“清剿”的严峻形势，提出“分散行动，坚决依靠群众，广泛开展群众性游击战争，保卫群众利益”的行动口号，他带领闽西南军政委员会成员分别到永定、上杭、龙岩等地直接指导斗争。在最艰苦的岁月，上至主席下至警卫员，上下一致，同甘共苦，风餐露宿，野菜充饥，还要和毒蛇猛兽作斗争，但大家始终保持革命乐观主义精神和旺盛的革命斗志。
1936年8月开始，蒋介石调动广东军阀两个师兵力入闽，配合中央军进行更大规模的“清剿”。广东军阀采取政治上欺骗和军事上更加凶残地对我游击区进攻，手段之残酷比中央军有过之而无不及。军事上采取轮番进剿、搜山、围困、夜间袭击等更加狡猾和残酷的战术，但是，由于张鼎丞领导全军上下坚持斗争，和军民坚持血肉相连的密切关系，使敌人第3次“清剿”也随之失败了，保持了我军大部有生力量和广大的游击区，并不断发展新的游击区。
西安事变后，根据党中央建立和发展抗日民族统一战线的精神，广泛开展“停止内战，一致抗日”运动，张鼎丞领导的闽西南地区游击战争转入新的历史阶段。张鼎丞坚决贯彻执行党中央关于建立抗日民族统一战线的指示，同闽西南的国民党当局谈判，坚持我党独立自主的方针，建立了闽西南抗日义勇军第1支队，为推动国共两党联合抗日起了积极作用。
闽西南游击战争是极端艰苦的，在远离党中央和主力红军的情况下，张鼎丞率领闽西南红军游击队，坚持了艰苦卓绝的3年游击战争，与万里长征南北交相辉映，取得了光辉的胜利。中共中央1937年10月指出，闽西南地区成为了以后“南方革命运动的战略支点”。毛泽东对闽西南红军游击队的功绩给予很高评价，认为其取得了“伟大的胜利”。