留守兵团创建之初，陕甘宁边区的社会秩序还很混乱。尤其是土匪蜂起，四处窜扰，奸淫烧杀，无恶不作，成为巩固根据地的大患。因而，留守兵团的一项迫切任务就是靖匪除暴安民。
据统计，当时边区23县境内，共有土匪40余股，计4000余人，2000多支枪。这些土匪大体上又可分为两类：一类是以打家劫舍、掠夺财物为主要目的的普通土匪，较大的有在延长、延川一带抢劫的陈老大股匪，有安定的刘子清股匪等；另一类则是有背景的“政治土匪”。他们除了抢劫钱财以外，专门以摧残我地方政府机关，破坏我党和群众组织，刺杀我党、政领导人和军队工作人员为目的。这些“政治土匪”中有的是在土地革命时期遭我斗争打击的恶霸地主和反动地方军阀武装，如三边的张廷芝股匪；有的是由国民党顽固派操纵指使的著名惯匪，如盘踞在陇东一带的赵思忠（外号赵老五）股匪等；有的是与日伪勾结的汉奸武装，如三边的薛子茂股匪；还有的是与托派有勾结的反动武装，如甘泉的李钦武股匪。
为了尽快肃清匪患，我和兵团几个领导干部研究，决定与地方党政机关取得密切联系，通过他们广泛发动边区的群众与地方武装自卫军，都来捕捉土匪。于是有的地方组织了小分队，和部队一起战斗，有的发现匪迹，暗地监视，及时报告，对军队的剿匪进行了有力配合。地方政府还采取了一些措施，积极改善人民生活，解决群众的温饱问题，使得一部分因生计所迫、铤而走险的散匪，改邪归正。
肃清反动的顽匪，主要是军事围剿。对于军事围剿的战术问题，还曾经有过一点争论。记得遵义会议后被撤销了军事顾问职务的李德，曾提出要采取平推的战术，派大部队齐头并进。理由是采取这种战术声势大，力量集中。李德在跟随中央红军到达陕北后，曾在红军大学讲过课，以后又被派来帮助我们训练过骑兵，有时也参与研究一些有关军事方面的问题。这个人以军事专家自居，主观主义、教条主义严重，又孤芳自赏，固执己见，在中央苏区的第五次反“围剿”中，我们曾经吃够了他那一套瞎指挥的苦头。从实际情况来说，陕北高原地形复杂，土匪分散，采用他提出的这种战术，只能像赶鸭子一样，把土匪赶跑，而不可能把土匪消灭。今天赶跑了，部队一离开，明天土匪又会窜回来，继续为非作歹。我当时对李德说：“土匪刁滑得很，昼伏夜出，分散活动，到处流窜，哪里会‘集合’在一起，让你去打呀！我们的战术，一定要适应土匪活动的这些特点。”他听了，又是摇头，又是耸肩膀，老大不高兴。后来我把同李德的争论，向毛泽东同志汇报了。他笑了笑，说：没有李德就不行吗？！
经过反复研究，我们决定采取机动灵活的猛打穷追与堵截、合击相结合的战术。在每一匪区集结相当兵力，统一指挥，一经与匪接触，即轻装尾追；一旦判明匪路，即分路堵截、合击。实践证明，这种战术是对头的、有效的。
从1937年11月开始，我们首先集中了警一团、警二团、警五团和2个骑兵营，以及蒙汉骑兵支队，共2000余人的兵力，在三边地区官滩、盐池以北之蜡梁和安边以北的仓房梁一带，对张廷芝、范玉山、薛子茂等股匪，连续进行了三次围剿、打击，先后击毙土匪100余人，马100余匹，缴获枪支60余支。在这同时，我七一八团在鄜县以西的黑水寺、张村驿一带，消灭了企图为匪的民团两股，获枪70余支。
翌年2月以后，我驻各地的警备团队，与地方群众武装密切配合，采用政治瓦解与武力清剿相结合的办法，布下天罗地网，对大小股匪，继续穷追猛打。例如，盘踞黄龙山地区的股匪，被我清剿部队击毙100多人，获枪70余支，只有很少一部分逃离边区。在安定南区一带窜扰的刘志清股匪，被我部队全部歼灭。
陕北地处黄土高原，海拔普遍在八九百米以上。厚厚的黄土层，经流水切割，年深日久，形成典型的塬、梁、峁、沟壑等地形，山高沟深，人烟稀少。冬春季节又长，到处是冰天雪地。在这样的地区剿匪，部队是很苦的。特别是三边一带，地接塞外荒漠，遇上大风天，风沙弥漫，天昏地暗，白天点灯都看不清人脸。大小砂石打在头上、脸上，疼痛难忍。有一次，一个战士外出执行任务，躲在一个甘草洞里避风，一阵大风刮来，竟把这个战士活活埋在里面。剿匪同其他战斗不一样，扑空是常有的事。有时爬山越岭，跑了许多路，到达预定地点，土匪已经无影无踪了。条件尽管这样艰苦，战士们却毫不畏缩，特别是那些经过两万五千里长征、爬过雪山、越过草地的老战士们，更是以苦为荣，迎难而上。
经过数十次战斗，历时不到一年，各地的土匪就基本上被肃清。按当时统计，被彻底消灭的土匪有36股，被击溃的土匪10余股，生俘匪徒900余人，缴获轻机枪10挺，步马枪1700余支，迫击炮2门，子弹20余万发。对那些被捕获的匪首，大都由当地政府进行公审，对罪大恶极的坚决予以镇压。这年6月，在定边就公审枪决了罪恶累累的惯匪艾中福、宋闰兰；在延川，公审枪决了谋财害命的著匪霍生福。当然，在剿匪战斗中，我们也付出了代价，共计伤亡军民700余人，其中有2个团级干部、10多个连排干部光荣牺牲。
一天晚上，已经是夜深人静。我来到毛泽东同志的住处。他照例还在灯下工作。我向他汇报了留守兵团的工作，当说到边区境内的土匪已经基本上被肃清了的时候，毛泽东同志露出又惊又喜的神态说：“这样短的时间就把土匪基本肃清了？”我便向他详细汇报了剿匪的经过和战果，毛主席听了十分高兴，当即拿起笔来起草了一份电报，向全国各抗日根据地通报了这一战绩，表彰了边区军民。
但是，靖匪的任务并没有到此结束。大约一年，即1939年冬天以后，前面所说的那类“政治土匪”，又在各地抢劫烧杀，扰乱边区，祸害群众。有的是由当时驻扎在边区周围的国民党中央军收买和唆使，突然窜进边区境内进行袭扰、破坏的，有的则是受边区境内的国民党县长和保安队支持、庇护，故意为非作歹，寻衅闹事的，其中有些人就是由保安队“哗变”为匪的。这类土匪的抢劫烧杀，实际上已经成为国民党制造摩擦事件的重要方式之一，是一种变相的武装进攻。因此，从这以后的剿匪斗争，就同反摩擦斗争紧密联系在一起，同早期的剿匪斗争相比，要复杂得多：既有军事斗争，又有政治斗争；既要清剿土匪，又要同当时国民党的军政要员打交道。
清剿陇东积匪赵老五，就是这种复杂斗争的一个典型事例。
赵老五多年盘踞在靠近宁夏的甜水堡一带，经我军打击后，收敛了一段时间。1939年11月底，又突然带领匪徒，攻入我环县城内，烧杀极惨。接着又窜至河连湾一带，破坏边区治安。当时我曾致电国民党宁夏省主席马鸿逵，询问赵匪是否属他节制。马鸿逵回电说与他无关，但不久他又派来个参谋，进行所谓调解，说赵匪是兰州国民党第八战区司令长官朱绍良所委派的“游击司令”。一个远近闻名的土匪头子，竟然成了国民党的“游击司令”，说奇怪其实也并不奇怪。在旧社会不就有“兵匪一家”的说法嘛！用这四个字来说明当时边区周围顽军和某些土匪的关系，是很确切的。我们当时虽然知道这位参谋说的不会没有根据，但为了促使国民党军队不要和土匪搞在一起，我们还是千方百计地给朱绍良等留面子，尽力争取他们。毛泽东同志在修改我给马鸿逵的复电时，对这件事这样写道：“诚以如此积匪，朱长官必不收编，必系该匪冒称无疑，请尊处万勿见信。”这显然是给朱绍良搭好了下台的台阶。接着我又直接给朱绍良打了几封电报，向他报告赵老五的情况，寻求共同解决赵老五的办法。他装聋作哑，不给我回电。于是，我又给他发了一封电报，在电文中说：“为维持地方治安计，拟即予以清剿。”他大概有点慌神了，这才回电说该匪已由他收编为保安队，并已饬令“严加约束”，公然对这伙匪徒进行庇护。所谓“严加约束”，不过是一句应酬的话而已。1940年夏天以后，一连几个月，这股匪徒又窜进边区，先后在陇东的曲子、完洞等地，捣毁我区政府1所，杀死我村干部和工作人员4名，捉走我自卫军排长和政府工作人员9人。我驻军警二团官兵忍无可忍，不得不派兵进行清剿。当即击溃其一部，并捕获赵老五的两个重要帮凶缪福禄、万荣昌，经公审后判处了死刑。1941年2月，我驻军又集中了2个营的兵力，在甜水堡、河连湾一带进行围剿，经过半个月战斗，终于将这伙匪徒大部击溃，匪首赵老五腿部负伤逃出边区。我缴获步枪、机枪、手枪70余支，子弹900余发。
除赵老五以外，当时气焰嚣张、作恶多端的政治土匪，在三边，还有原系恶霸地主武装，以后又摇身一变，成了国民党保安大队长的惯匪张廷芝。这股匪徒祸害群众的手段极其残忍，不少妇女被他们糟蹋，不少群众和村干部被他们吊起来用火烤，用枪托、棍棒毒打，有的被活活打死。1940年，张匪还曾借故围攻我驻靖边的部队，我一营长惨遭枪杀。在鄜甘地区，有被国民党洛川专署收编为“反共军”的著匪夏老么。该匪在不到10天时间内，连续作案5起，除抢劫财物、奸淫妇女外，还杀死我干部和群众多人。在关中一带，有逃离边区多年，受国民党顽固分子的唆使，又于1940年5月窜回边区大肆抢劫烧杀的惯匪李仰之。对于这些有政治背景的土匪，我们一般也都是运用两手：一面由我致电国民党的有关军政当局，揭露土匪的罪行，要求“国军”配合剿除。这一手，当然不起多大作用。因为他们本来就是这些土匪的后台老板，唯恐边区不乱，哪里还会来配合我们剿匪！但这一手还不能没有，“先礼后兵”嘛，我向你通报了，你也无法否认他们是土匪，下一步我就好使用另一手。这一手就是武力清剿。在我剿匪部队的围、追、堵、截下，上述股匪，有的被击溃，有的又逃离边区，有的被彻底收拾了。例如匪首李仰之，于1940年6月被我捕获，公审后就地正法，人心大快。
对土匪的最后一次大规模的清剿，是在清涧、绥德、米脂一带。1942年9月，当各地匪患渐次减少的时候，这一带却接连出现了以阎锡年、惠富元等为头目的8股土匪，在4个多月之内，作案达40余起。闹得最凶的时候，平均两天要发生一次抢案。而其突出特点，又是专以抢劫捣毁我公营商店、合作社，袭击我区乡政府机关，刺杀我单独活动的军人和地方干部，抢夺枪支为主要目的。这些匪徒在几个月之内，就杀死我干部战士和地方工作人员10人，绑走和打伤13人，抢走长短枪17支，劫走大批财物和8000余万元现金。当时我正在参加西北局高干会议。为了迅速消灭这些匪徒，我们利用会议的间隙时间，召集当地驻军和地方干部开会，对剿匪任务进行了具体部署。会后各县均采取军事进剿与地方清乡相结合的办法，集中进行了一次围歼。到1943年1月，就大体上把这几股土匪肃清了，并且坚决镇压了被我捕获的惠富元等7名土匪头子。至此，边区的靖匪斗争，才告结束。