1980年8月18日，邓小平在中共中央政治局扩大会议上就“党和国家领导制度改革”发表重要讲话。鉴于1975年和1978年的两部《中华人民共和国宪法》，受历史条件限制，是在“无产阶级专政下继续革命的理论”和肯定“文化大革命”的指导思想下修订的，既背离1954年制定的第一部《中华人民共和国宪法》的社会主义民主的基本原则，又脱离十一届三中全会以后经过拨乱反正、实行改革开放后的中国的实际，邓小平说：“中央将向五届人大三次会议提出修改宪法的建议。”他还提出了修改宪法的指导思想和具体要求：“要使我们的宪法更加完备、周密、准确，能够切实保证人民真正享有管理国家各级组织和各项企业事业的权利，享有充分的公民权利，要使各少数民族聚居的地方真正实行民族区域自治，要改善人民代表大会制度，等等。关于不允许权力过分集中的原则，也将在宪法上表现出来。”这次中央政治局扩大会议决定，向五届全国人大三次会议提出对中华人民共和国宪法进行修改的建议。
1980年9月10日，五届全国人大三次会议接受中共中央的建议，通过了关于修改宪法和成立宪法修改委员会的决议。宪法修改委员会由叶剑英委员长任主任委员，宋庆龄、彭真副委员长任副主任委员。在9月15日宪法修改委员会首次会议上，决定成立宪法修改委员会秘书处，作为修改宪法的工作机构。当时，胡乔木正忙于起草《历史决议》、修改《中国共产党章程》等工作，但党中央还是决定，由他担任宪法修改委员会秘书长，具体负责这次宪法修改工作。新中国建立之初起临时宪法作用的《共同纲领》，1954年第一届全国人大第一次会议通过的《中华人民共和国宪法》，胡乔木都是主要起草人之一。这时，胡乔木又担任全国人大法制委员会副主任委员（彭真为主任委员），让胡乔木具体负责这项重要工作，是很合适的人选。胡乔木即向各有关方面征求意见，向中共中央负责同志提出了副秘书长名单，经宪法修改委员会首次会议通过。
9月15日当晚，胡乔木即召开秘书处主要负责人会议，对工作规划、组织分工等作了安排。9月17日下午，胡乔木召集了第一次秘书处全体会议，宣布秘书处成立并于即日起正式工作。他传达了中共中央和宪法修改委员会关于修宪工作的指导思想和具体要求。要秘书处抓紧研究宪法修改的几个重点问题：宪法的总体结构应该如何安排？人大的作用如何充分发挥？政府的机构如何设置？国务院的职权范围，国务院和全国人大常委会之间的职责如何划分？如何加强和完善人民民主制度？我们能不能搞两院制？等等。会上明确布置了任务。胡乔木要中国社会科学院法学研究所等单位搜集整理世界各国有关宪法的参考资料，特别是对美国、英国、法国、苏联、西德、日本、瑞典、瑞士、印度、南斯拉夫、加拿大、澳大利亚等国的有关情况，如：议会和政府机构的设置、总统和内阁的职权、两院制的内涵和相互关系、立法机关和行政机关权限的划分，以及各国宪法结构和重要条文写法的比较等等，要整理材料，作系统的介绍。他要求这些材料的准备工作要在1980年12月全部完成。他特别交代，凡是重要的宪法参考资料，都要分送宪法修改委员会主任委员和副主任委员、中央书记处书记和中央政治局委员。他还建议出版内部刊物《宪法讨论》，以便中央了解各方面对修改宪法的意见和建议。
1980年9月21日，胡乔木在各省、市、自治区第一书记座谈会上讲话，除了讲《历史决议》的要点以外，讲了“宪法修改的一些个人设想”。着重就全国人民代表大会及其常委会的组成、职权和如何进行工作讲了意见。
胡乔木对秘书处的工作安排妥当，在修改宪法的各项前期工作正常开展以后，就把起草宪法修改稿的任务交副秘书长胡绳、王汉斌先行负责，自己则把主要精力转到更为紧迫的《历史决议》的修改、加工上面。1981年6月，《关于建国以来党的若干历史问题的决议》经十一届六中全会通过。胡乔木因疲劳过度病倒，在医院做了胆囊切除手术，不允许他继续正常工作。7月间起，宪法修改工作由彭真直接指导。8月中旬，经中央批准，胡乔木即离京到外地休息。先后在南京、无锡、苏州一边休息一边工作。
1981年11月24日，收到胡绳遵彭真之嘱寄来的宪法初稿。12月5日，收到彭真就修改宪法问题给胡耀邦并常委的信和胡耀邦的批语，同时收到《中华人民共和国宪法修改草案（十二月四日送审稿）》。胡乔木即在这个稿子上认真修改。
1981年12月8日上午，胡乔木从南京回到北京。这时，全国五届人大四次会议已于11月30日起召开，胡乔木被选为主席团成员。12月9日下午，他即去人大法案委员会参加会议，讨论民事诉讼法等三个法案。并在修改政府工作报告的同时，仔细推敲宪法草案的修改问题，在1982年1、2月间提出了不少重要建议。1982年2月27日，胡乔木受彭真副主任委员的委托，在宪法修改委员会第二次全体会议上讲话，对宪法修改草案的讨论稿作说明。4月28日，五届全国人大常委会公布宪法修改草案，交付全国各族人民讨论。1982年12月4日，五届全国人大五次会议通过了这部新宪法。这是中华人民共和国继1954年制定和1975年、1978年两次修改之后的第四部宪法，通称“1982年宪法”。
1982年宪法的修改，从1980年8月中共中央政治局扩大会议决定提出进行修改的建议、1980年9月10日五届全国人大三次会议通过修改宪法和成立宪法修改委员会的决议，到1982年12月4日五届全国人大五次会议通过这部修改后的新宪法，经过了两年多时间。胡乔木作为此次修改宪法工作机构的负责人，为1982年宪法的修改做出了重大贡献。主要表现在以下六个方面：
一、在宪法的总体结构上，坚持把“公民的基本权利和义务”放到前面，加强了人民民主
杨尚昆在回忆胡乔木的文章中特别提到这件事，他写道：“现在大家都知道，十一届三中全会的公报，叶剑英同志国庆三十周年的讲话，关于建国以来党的若干历史问题的决议，十二大党章，十二大的政治报告，1982年的宪法，这些带有里程碑意义的文献，都是胡乔木同志在中央领导下起草和修改完成的。他善于领会和贯彻小平同志和陈云等同志的指示，也善于吸收和概括大家的意见。他研究问题非常深入细致，修改宪法时，为了加强人民民主，尊重人民权利，把人民权利和义务从第三章提到第二章。在他指导下，对世界上一百一十一个国家现行宪法关于公民权利和义务的结构安排作了调查统计。”
在起草过程中，关于宪法的结构，发生了一些分歧。1982年2月16日上午，中央书记处讨论修改宪法问题。会上，有人主张：在第一章“总纲”之后，接着写第二章“国家机构”，然后写第三章“公民的基本权利和义务”。胡乔木提出不同意见，认为“公民的基本权利和义务”应该放在“国家机构”之前，紧接在“总纲”的后面。理由是：“权利与义务”是“总纲”的补充和继续，“国家机构”是程序问题，是为“总纲”和“权利和义务”规定的实质问题服务的。世界上大多数国家的宪法也都是把公民的权利和义务放在前面的。经讨论，意见没有统一。
当天下午，胡乔木让秘书告中国社会科学院法学研究所所长王叔文：请尽快把世界各国宪法结构中的权利和义务一章查一下，看看哪些国家把它放在前面，哪些国家放在后面，简单列个表。明晨9时前送到。王叔文等查了111个国家的宪法，其中101个国家放在前面，只有10个国家放在后面。胡乔木随即把这份材料送中央常委和书记处各同志阅。2月17日下午，邓小平找彭真、胡乔木、邓力群谈关于宪法修改问题。他说：从1954年到现在，原来宪法已有近三十年了，新的宪法要给人面貌一新的感觉。我同意胡乔木的意见，把“权利和义务”放在“国家机构”的前面。
此外，胡乔木在1982年2月27日在宪法修改委员会第二次全体会议上做《对宪法修改草案（讨论稿）的说明》时，还讲明了关于权利与义务不可分离的理论依据：“关于权利和义务不可分离，是马克思在第一国际的章程里面提出来的观点，就是没有无权利的义务，也没有无义务的权利，权利和义务是不可分的。在整个这章里面，都是贯穿了这个思想。”
二、对宪法序言和总纲的修改，注意做到同《历史决议》和十二大文件的精神相一致
彭真指出：历史决议和十二大文件为宪法修改提供了重要依据。还说：修改宪法的时候，一定要理直气壮地坚持四项基本原则，坚持人民民主专政，坚持民主集中制，坚持民族自治、民族区域自治制度。这是这次宪法修改工作的基本指导思想。胡乔木在修改宪法序言和总纲时，特别注意把宪法的指导思想和重要原则同历史决议和十二大文件的精神一致起来，使1982年宪法既能科学地总结社会主义发展的历史经验，又能准确地表达新时期新任务对国家政治生活提出的新要求。胡乔木在1982年2月27日所作宪法修改草案说明，鲜明地体现了这一点。
在2月全国政协讨论宪法修改草案时，有的委员对总纲第一条“中华人民共和国是工人阶级领导的、以工农联盟为基础的、人民民主专政的社会主义国家”提出意见，认为人民民主专政一语不合逻辑，民主和专政是对立的，剥削阶级已经消灭，专政失去了对象，这样写也不符合我国的国情。有的委员提出，把四项基本原则写入共产党的历史决议和章程是无可非议的，但要不要写进宪法的序言里就值得考虑了。还有的委员提出，总纲第三条规定全国人大有对国家机关、审判机关、监察机关进行监督的职能，而对全国政协，只在序言里提了一下它是“统一战线组织”，为什么不把政协的“政治协商、民主监督”的职能写进宪法呢？
胡乔木在宪法草案修改说明的第一部分，着重谈了坚持四项基本原则、加强人民民主的问题。他说：“这次宪法修改草案，加强了人民民主，也就加强了以人民民主为基础的人民民主专政、民主集中制。”在党的六中全会通过的历史决议中，对于过去三十年基本经验的总结中，专门有一条讲这个问题。他指出：“这次宪法的修改，就是按照这样一个精神来进行的。”胡乔木就宪法草案总纲中关于人民民主专政的任务和对象、国家机关及其工作人员同人民的关系、国家的职能、武装力量的性质与任务等规定作了说明，讲了八点。胡乔木指出，这些加强人民民主的规定，“大部分都是以前历次宪法所没有规定，或规定得不充分的。在这次修改的草案里面，作了新的规定。”对这次宪法修改草案中关于公民权利和义务的各种规定，胡乔木分十二点，逐一作了说明。第一个部分一共讲了二十点，胡乔木指出：“这二十点都是加强了人民民主，加强了人民民主专政，也加强了民主集中制。”“宪法在保障人民民主，保障人民民主专政方面，比之过去的宪法，作了很大的修正和补充，使这个制度用最高的权力加以实现，全国人民和全体国家机关都要为这些原则来奋斗，任何人不能违反。”
关于政协职能入宪的问题，胡乔木按邓小平关于修改全国政协章程的指示精神，作了说明。
邓小平在1980年9月27日审阅全国政协章程修改委员会第一次会议准备的文件时批示：“在修改章程中，不要把政协搞成一个权力机构。政协可以讨论，提出批评和建议，但无权对政府进行质询和监督。它不同于人大，此点请注意。”11月12日，又在乌兰夫、刘澜涛的信上批示：“原来讲的长期共存，互相监督，是指共产党和民主党派的关系而言。对政府实施‘监督’权，有其固定的含义，政协不应拥有这种权限，以不写为好。”