这类现象为数不少，其严重性在于发生这类现象的地方的农村社会政治文化状况或几乎倒退到解放前的黑暗落后状况，非切实大力扭转不可。除了必须整顿党的组织和作风（这个问题较复杂，这里暂不论及）外，我建议中央下两条决心：（一）在今年内有准备、有计划、有步骤地在全国农村恢复乡政府、恢复村长（人民公社、生产大队、生产队仍作为经济组织保留不变），并普遍在乡级设立派出所。如把乡政府设在公社一级，据安徽省凤阳县试点经验，脱产干部比目前还可减少。这当然是一项繁重的工作，但不解决不行。故建议中央为此早日作一正式决定发给全党，在适当时机并可由人大常委作公开决定。在农业生产责任制推广以后，仍希望生产大队和生产队兼负政权职能基本上是不可能的，至少是很困难的，势必造成许多地区的权力真空，使这些地区程度不同地成为这样那样坏人坏事的乐园。当然，这些地区的好人仍然占多数，但对坏人坏事无能为力，甚至会暂时地随波逐流。（二）必须坚持在农村实行义务教育，学龄儿童入小学，不许中途退学，成年农民入冬学。社会主义、合作制、精神文明都必须建立在有一定文化教育的基础上，这是马克思主义的一项基本原理。决不能幻想在愚昧、落后、文盲众多甚至日益增多的条件下实现现代化。在农村普及教育，诚然困难很多，这正如计划生育一样，虽困难也不能在原则上动摇。中国今天在经济文化方面诚然落后，但是决不比明治维新时期的日本（日本也是一个人多山多、大部分地区原来很偏僻闭塞的国家）还落后。为什么日本天皇在一百多年前能做到的事，我们中国共产党在一百年后和执政三十多年后却不能做到？解放初期至六十年代前期虽然也没有真正实现普及教育，但是坚持了这一方针，还是比解放前取得了巨大的进展。今天，在广大农村逐渐走向富饶的条件下，为什么反而放弃和批评这个自清末以来一直为全国所公认的口号呢？真正在中国这样一个大国实现普及教育，当然需要经过一段时间，一些步骤，在特别落后的地区要变通，但是首先必须无条件地毫不动摇地确定决心、目的和原则。在这个前提下，我们才能稳步前进，否则就会混乱，为今后的进步造成困难。
在这个带有根本性的问题上，也请求中央和国务院早日作出正式的明确的书面的决定，并发给全党。以上建议是否可行，敬请中央考虑。
中央常委对胡乔木的这两项建议都很重视。邓小平于第二天（1982年1月11日）即写下批语：“我赞成乔木同志意见，如何实行，请书记处、国务院拟定。”陈云也在同一天批：“我赞成乔木同志意见，尤其是第二个问题。”胡耀邦于1月12日批道：邓小平、陈云同志批语、乔木同志信和所附两个材料印成中央书记处讨论文件，安排时间讨论。邓小平又于2月17日当面嘱咐彭真、胡乔木、邓力群：政社分开问题要说，现在的宪法草案没说，只说人民公社是经济组织。
中央书记处讨论通过胡乔木的建议后，胡乔木等即在宪法修改草案的相应条文加上：“乡、民族乡、镇设立人民代表大会和人民政府。”为落实这一重要变更，中共中央和国务院先后发出相应的通知：1982年4月12日发出《关于宪法修改草案中规定农村人民公社政社分开的通知》；1983年10月，又发出《关于实行政社分开建立乡政府的通知》。
对普及义务教育问题，保留1954年宪法规定的“中华人民共和国公民有受教育的权利”，并加上“和义务”三个字，成为：“中华人民共和国公民有受教育的权利和义务。国家培养青年、少年、儿童在品德、智力、体质等方面全面发展。”（第四十六条）
六、提议设立国家审计机构，将审计监督制度列入宪法
胡乔木参与制订的1954年宪法，没有关于审计监督制度和机构的规定。当时认为社会主义国家的宪法跟资本主义国家的宪法绝然不同。所以，只以苏联宪法为蓝本，没有去查其他国家的宪法资料。1975年、1978年两次修订宪法，依然没有引起对审计监督工作的注意。在这次修改宪法的过程中，胡乔木查看了外国的宪法。发现世界绝大多数国家的宪法都有实行审计监督制度和设立审计机关的规定，而且审计机关的地位很高，有的直属总统，有的直属国会。审计长的任期长，地位相当于大法官。审计工作独立，任何人都不能干预。胡乔木由此想到，为使我国正在进行的改革开放和社会主义现代化建设事业健康发展，也应该确立审计监督制度。胡乔木认为，宪法应该将审计监督确定为我国的国家制度，在新宪法中作出设立审计机构的规定，并明确其职责与权限。于是，胡乔木于1982年1月上旬先同主管经济工作的副总理姚依林商量，取得他的同意。又先后同万里、赵紫阳商量，他们也都赞成。
1982年1月12日，胡乔木写信给财政部部长王丙乾，请财政部研究此事。信中说：在调整国家机构期间，我同依林同志商量，拟在国务院下设一审计机构（名审计局或审计院均可），对国务院及其以下各机构和各大企事业单位独立行使财政、财务监督检查核算（包括预算和决算）工作。在全国各级设立垂直系统，培养选用高级会计人才，以利防止贪污浪费盗窃贿赂和其他各种不合法、不合理、不合算、来历去向不明的收支。这类工作因人手少、经验少、阻力大，必将遇到很多困难，但坚持到底，必能逐渐闯出一条路来。这事望财政部同志研究一下，参照各国情况和经验，在最近期内提出一个具体的建议和筹办人选。这一机构和它的职权并拟列入宪法。
第二天，胡乔木又致函王丙乾询问审计机构与财政部门之间的关系问题：“审计机构向国会的报告只限于帐目是否清楚，与财政部的预、决算报告不同。审计机构建立和健全以后，就用不着每年派出财务检查团了。是否如此？”
随后，姚依林也给王丙乾打电话，说：“关于建立审计机关问题，我和乔木、万里同志一起研究过，同意乔木同志的意见，财政部按乔木同志意见研究方案。开展审计工作，这是真干，不是假干。这对财政工作是有好处的。”
1月21日，王丙乾复函胡乔木：“遵照您一月十二日、十三日两封信的嘱咐，我们根据社会科学院法学研究所的两份资料，结合我部掌握的情况，整理了一份《外国审计机构资料》。现送上，请审定。”信中还提出：“财政部拟于三月间派人去西班牙、奥地利进行考察，以借鉴外国审计工作的经验。”
1月28日，财政部给胡乔木、姚依林正式写报告，提出“关于建立审计机构的几点意见”，包括建立审计机构的必要性，审计机构的设置、任务、权限，以及具体实施步骤。胡乔木批示：“印发中央政治局委员、书记处书记、国务院副总理、人大党内副委员长考虑。”
2月17日，邓小平找彭真、胡乔木、邓力群谈修改宪法问题时表示：要写上审计机关的规定。至此，胡乔木设置审计机构的建议成为决定。
但对审计机关如何设置，一时没有定下来。一种意见是审计机关暂设财政部内，过几年再作为国务院的直属机关。胡乔木起初同意这种意见，后经仔细斟酌予以否定。因为财政部本身就是审计监督的对象，设在财政部内，岂非成了自己监督自己；同时，审计机构作为一个部的下属单位，也缺乏权威性，不利行使职权。还有一种意见是设在人大常委会之下。胡乔木认为这也不是办法，因为人大常委会不便也无法来管许多具体事务。经与有关领导同志多次商量，最后确定还是采纳第三种意见，即直属国务院领导。胡乔木提出，宪法要规定：“审计机关在国务院总理领导下，依照法律独立行使审计监督权。”
1982年4月28日，五届全国人大常委会公布《中华人民共和国宪法（修改草案）》，交付全国各族人民讨论。在第六十条中，规定了实行审计监督制度，设立审计机关，开展审计监督等内容。
6月29日，《人民日报》发表了陈祖芬写上海海关关长事迹的长篇通讯。胡乔木看后写信给中央主管纪检、财经工作的领导同志，又一次提出财政部“应积极筹建审计机构，不能再延”的建议。7月31日，胡乔木在一期《群众反映》上写批语给姚依林、王丙乾和吕培俭（时任中国人民银行行长），催促“请考虑从速着手建立审计机构”。说“最好能在反经济犯罪活动的斗争中建立起来，哪怕从小范围开始也好。”D10月初，胡乔木给王丙乾打电话，再次询问审计机关成立之后，国家预、决算由谁来办理，外国审计机关是否负责编制国家预、决算并向议会作报告。王丙乾让审计机关筹备组搞了一份材料，于10月9日给胡乔木送去，并函复道：“从材料中看，只有个别国家的审计机关负责决算的编制和向上报告，多数国家还都是由财政部办的，但审计机关要进行审查，并负责写出审查报告送议会，以便议会参考、审批国家决算。”10月5日，胡乔木函告宪法修改委员会副秘书长胡绳、王汉斌：“审计局，国务院决定暂设财政部，即独立后仍属国务院”。
经过反复讨论，五届全国人大五次会议于1982年12月4日通过新宪法，列入了审计监督工作。在宪法第八十条中，“审计长”同国务院“各部部长、各委员会主任”一样，列为“中华人民共和国主席”任免的行政领导职务；宪法第八十六条，“审计长”列为国务院组成人员，并单列一条；宪法第九十一条，对审计机关的设立及其职权作出规定：“国务院设立审计机关，对国务院各部门和地方各级政府的财政收支，对国家的财政金融机构和企业事业组织的财务收支，进行监督审计。审计机关在国务院总理的领导下，依照法律规定独立行使审计监督权，不受其他行政机关、社会团体和个人的干涉。”
从上述六个方面可见，胡乔木作为中央书记处书记之一、宪法修改委员会的秘书长，在1982年宪法的修改过程中恪尽职守，充分发挥了自己的聪明才智，提出不少富有创新精神的重要建议意见。他善于通过科学的论证和充分的解释使领导和同事接受他的建议，采纳他的意见。同时，他又不固执己见，能够充分发扬民主，服从真理，从善如流。为使1982年宪法反映我国改革开放的实际情况而富有中国社会主义的特色，胡乔木确实作出了重大的贡献，起到了别人难以起到的作用。