在建军初期，毛泽东就十分重视我军的编制体制问题，并把它看成是提高军队战斗力的一个重要因素。秋收起义失败后，5000多人的起义部队到达江西三湾村时还剩下不足1000人。为了保存和发展这支革命队伍，毛泽东在对部队进行思想整顿的基础上，又从调整编制体制入手，从组织上对部队加以整顿，将一个师缩编为一个团，使整个部队更加精干，并在各级建立了党的组织，从而把党的组织与军队编制结合起来，开始确立了我军独特的编制体制。1934年1月，毛泽东在总结红军建设的经验时说：“现在的红军，已经走上了铁的正规的革命武装队伍的道路”。其中一个重要的表现就是“编制改变了，使红军在组织上增加了力量”。他认为“所有这些，大大提高了红军的战斗力，成为不可战胜的苏维埃武装力量”。这就是说，改变军队的编制体制，使其现代化，能够大大提高军队的战斗力。在《论持久战》中，毛泽东提出了“革新军制离不开现代化”的思想。
军队编制体制现代化的一个重要方面，就是它的合成化，也就是说，从编制体制上将诸军兵种合成一体，形成强大的战斗力。我军诞生于20世纪20年代。在诞生时，还是以步兵为主的单一兵种。南昌起义时，部队中已有少量的炮兵，但却没有设炮兵建制。1928年5月，毛泽东和朱德所领导的工农革命军第四军就有一个炮兵连，这是我军最早的炮兵连。1938年1月，成立了八路军炮兵团。毛泽东对这个团寄予了极大的希望。在该团成立一周年之际，它写下了这样的题词：“八路军炮兵团成立已一周年，盼望你们努力政治、军事学之学习，造成抗日战争中的有力兵团，达到战无不胜攻无不克之目的，为民族争光，为八路军争模范！”随着解放战争的节节胜利，建立新的军兵种的条件逐渐成熟，毛泽东审时度势，开始筹划建立空军、海军和陆军的各技术兵种。1949年7月，朱德建议选三四百人去学习空军，并购置100架飞机，组成一个歼击部队，准备第二年解放台湾之用，毛泽东表示赞同。同年8月，毛泽东主持中央会议，商讨海军学校的开办及有关问题。会议决定，派张学思与刘亚楼赴莫斯科同苏联谈判建设中国的空军、海军的事宜，并由周恩来到苏联与斯大林会谈，争取一笔借款，主要作为空军、海军的装备定货之用。1949年11月11日，在毛泽东的直接筹划下，中国人民解放军空军正式建立起来了。不久，在1950年4月14日，中国人民解放军海军也正式成立了。此时，我军正准备渡海解放舟山。周恩来又致电苏联部长会议主席布尔加宁，希望苏方在1951年春天前给我国提供一批急需的海军舰艇、飞机和海岸炮。这批装备的到来，使我海军开始初具规模。同年6月，中央听取了海军司令员萧劲光关于海军工作的汇报，并批准了海军的3年建设计划。其后，我军的装甲兵、工程兵、防空兵等其他各兵种相继建立起来。从此，人民解放军开始发展成为一支有诸兵种的合成部队。
为了改变我军基本上是由单一的步兵构成的机制，加快我军现代化、正规化步伐，1949年2月至4月，按照毛泽东关于统一全军部队编制和番号的指示，人民解放军进行了大规模整编。依据我军现实情况、参考国外军队的编制，确定了方案。具体方案是：以师为基本独立单位，保持军的指挥机构，撤销兵团和野战军的机构，将野战军指挥机关改为大军区，兵团机构一部分作为军兵种领导机关。整编后的军、师、团、营、连的建制都实行“三三制”，统归各大军区指挥。全国统一成立省军区、军分区、市县武装部，负责领导地方武装和民兵工作。在党的七届三中全会上，毛泽东决定，缩小陆军步兵部队，加强空军、海军及其他特种兵建设，做到复员工作与军队建设并重。同时决定，在2年内将540万军队裁减为250万到300万。为保证这一艰巨任务的顺利完成，从中央到地方，成立各级复员委员会（后改称转业建设委员会），中央复员委员会由周恩来任主任，代总参谋长聂荣臻任副主任，全面领导军队的复员和转业及地方安置工作。
通过革新军制，结束了我军编制体制不统一的局面，进一步提高了部队的战斗力，使军队现代化、正规化建设迈向了新的阶段。