洛川会议以后，1937年8月25日，中央军委公布了红军改编为国民革命军的命令。朱总司令、彭德怀副总司令以及改编后的三个师的主要负责同志，从洛川赶回部队，踏上了奔赴抗日前线的征途。我被南京政府任命为八路军后方留守处主任。回到延安后，我即按照洛川会议的决定着手整顿留守的部队。
开始，留守处机关只有十几个人组成，曹里怀任参谋长，莫文骅任政治部主任。部队除主力红军留下一部分外，还有陕北的地方部队。1937年10月2日，军委决定将陕北红军按国民革命军的编制进行改编，分别编成一一五、一二○、一二九师的炮兵、特务、工兵、辎重营，并划定驻防地区。当时，陕甘宁边区已有十七八个县（后来，按照国民党333次会议划定，陕甘宁边区为23个县）。我们将这些县划分为东地区和西地区两个留守处。神木、府谷、靖边、安定、志丹、肤施、甘泉、鄜县、洛川等县划为东地区留守处，陈伯钧为主任，陈先瑞为副主任。定边、盐池、环县、庆阳、合水、正宁、枸邑、淳化划为西地区留守处，王宏坤为主任，王维舟为副主任。八路军后方留守处设在延安，整个部队约9000余人。
陕甘宁边区是十年内战以来我党我军得以保存的唯一的根据地，是党中央的所在地，是八路军抗日出征的总后方，留守部队担负的任务是很重的。东面，隔河相对的，是从华北沿平绥线进攻的日本侵略者，要随时准备抗击日寇入侵，固守千里河防。南、西、北三面，有国民党二十几个师包围。在边区当时亦是国共两个政权并存，虽然建立了统一战线，但摩擦反摩擦的斗争还时有发生。同时，边区内部大大小小的几十股土匪经常四处袭扰，严重威胁边区正常的生活秩序。1937年10月，中央军委给留守部队下达了“保卫边区，肃清土匪，安定人民生活，保卫河防，保卫党中央，巩固与扩大留守部队”、“建设正规化部队，提高战斗力，加强战斗准备，培养与积蓄干部”的指示。为了加强领导和指挥，军委决定将八路军后方总留守处对内改称留守兵团，并决定由我担任留守兵团的司令员。我们首先考虑并着手对留守兵团的部队进行全面整顿。
留守兵团的这部分部队，来自各个根据地，基本的政治素质和军事素质都是不错的。大部分同志经过长征，是在残酷斗争环境中成长起来的，排以上干部都经过战斗的考验，平均每人负伤两次，战士大部分有三年军龄，党员比例也比较大。这是部队好的一方面。但是另一方面，留下之初，部队还存在不少问题。主要表现是组织零乱、不健全，机构不统一，编制装备参差不齐；纪律涣散，军容风纪不整，游击习气浓厚，执行命令不坚决；本地干部与外来干部之间，同级干部之间，上下级干部之间都存在一些不团结的现象；战士中开小差的现象也时有发生；对抗日民族统一战线的建立，思想上有不少模糊认识；主力东进以后，又有一部分同志不安心后方工作……怎样在这种基础上把留守兵团建设成一支具有强大战斗力的正规兵团呢？这是当时摆在我们面前的一项艰巨任务。
留守兵团建立后不久的一天，我去毛主席那里汇报工作，当谈到部队存在的这些问题，提出如何抓好这支队伍的建设时，毛主席亲切地对我说，要把这支来自各方面的比较散乱的部队建成一支具有很强战斗力，打不烂、拖不垮的正规兵团，关键就在于按照《古田会议决议》的精神去做，加强政治思想工作，加强团结。他指示我们要在干部中做工作，使他们明确留在根据地的意义和作用，带好部队，完成中央赋予的光荣任务。他还要求我每天晚上到他这里，谈谈部队的情况，汇报工作。毛主席日理万机，工作繁忙，却那样地关心留守兵团的建设，这使我感到充满了信心和力量。
1937年12月，留守兵团召开了第一次兵团首长会议。这次会议，颁布命令取消过去各单位杂乱的番号，实行新的编制序列，配齐了政治委员，将留守部队编为：警备一团，团长贺晋年，政委钟汉华；警备二团，团长周球保，政委甘渭汉；警备三团，团长阎红彦，政委杜平；警备四团，团长陈先瑞，政委刘国桢；警备五团，团长白志文，政委李宗贵；警备六团，团长王兆相，政委张达志；警备七团，团长尹国赤，政委刘随春；警备八团，团长文年生，政委帅荣；七七○团，团长张才千，政委萧元礼；还有1个鄜甘独立营和1个骑兵营；另外，在绥德成立警备区，司令员陈奇涵，参谋长毕占云。全部队共1.5万余人。兵团成立了参谋处，政治部，供给处，机要处等直属工作机关。这次会议实际上是留守兵团的正式成立大会，是个确定方向、制定措施的决策性的大会，党中央、中央军委、边区政府都十分重视，毛泽东、周恩来、王稼祥、张闻天、林伯渠等同志都参加了这次会议。毛主席在会上做了热情洋溢的讲话。他说，留守兵团是根据地赖以存在的必不可少的武装力量，要把留守任务看得同前线抗日救国一样的重要。要使留守兵团尽快走上正规化的建军道路。他风趣地拍拍我的肩膀说“我在延安，就是靠留守兵团吃饭”。表达了党中央对留守兵团这支武装力量寄予的深切希望，给留守兵团的全体干部以很大的鼓舞。这次会议确定了“加强战斗准备，部队正规化建设，统一战线教育，增强部队纪律，紧密与人民的团结”为兵团这—阶段的主要工作。我在会上提出“任务重于生命”作为留守兵团的行动准则，号召留守兵团的全体指战员为保卫党中央，保卫毛主席，保卫陕甘宁边区而不惜牺牲自己的生命。
留守兵团第一次兵团首长会议使部队建设有了一个良好的开端。不久，部队便投入到了紧张的剿匪、河防等战斗。