胡乔木在中共十一届五中全会当选为中央书记处书记以后，按分工负责起草重要文件。在1982年中共十二大前后，他担负两项重要任务：修改党章和起草十二大报告。这两项任务，同十一届五中全会以前就已开始的起草历史决议，同修订宪法，起草政府工作报告，是先后展开或同时进行的。如果说，历史决议是总结历史经验，分清是非功过，指明前进方向，统一全党思想的巨大历史工程，那末，十二大报告和政府工作报告，新党章和新宪法，就是新时期领导全党和全国人民实行改革开放，全面开创社会主义现代化建设新局面的总纲领、总规划和法律保障。这些重要文件都是在以邓小平为核心的党中央集体领导下制定的，它集中了全党的智慧，凝结着亿万人民的创造，总结和概括了中国共产党执政以来，特别是十一届三中全会以来的丰富经验，初步提出和逐渐丰富了建设中国特色社会主义的理论、纲领、路线和方针、政策。而这些重要文件的起草工作，都是胡乔木参与或具体负责的。这时，胡乔木已届古稀之年，1981年5月又做了胆囊切除手术，但仍以体弱多病之躯，夜以继日，孜孜不倦工作，充分施展他的理论、政治以及文采辞章方面的才华，为开辟中国特色社会主义新道路作出了重要贡献。
在中共十一届三中全会上，陈云当选为中央纪律检查委员会第一书记。他明确指出：中纪委的基本任务，就是要维护党规党法，整顿党风。党的建设的目标就是要实现毛泽东所倡导的又有民主又有集中，又有纪律又有自由，又有统一意志，又有个人心情舒畅、生动活泼的那样一种政治局面。他主持召开的中纪委第一次全体会议，着重研究的就是维护党规党法，搞好党风的问题。此后，陈云在制定党规党法方面倾注了许多心血，胡乔木则是起草和修改党规党法的主要负责人之一。
一、负责修改党章工作的经过
1980年5月召开的中共十一届五中全会通过了《关于党内政治生活的若干准则》。胡乔木参与了《准则》的起草和修改工作。这个《准则》，总结了中国共产党几十年来处理党内关系的经验教训，特别是“文化大革命”十年间同林彪、“四人帮”斗争的经验教训，是对党章的必不可少的具体补充，它对发扬党内积极因素，克服消极因素，发挥党员的先锋模范作用，具有重要意义。
胡乔木花费精力更多的是党章的修改工作。
1969年4月召开的中共九大通过的党章，是在“文化大革命”的错误方针指导下制定的。九大推翻了八大制定的正确路线，把根据“无产阶级专政下继续革命”的错误理论发动的“文化大革命”写进总纲；还在党内生活极不正常的情况下，把林彪作为“毛泽东同志的亲密战友和接班人”写进总纲。九大党章把八大党章关于发扬党内民主、加强党的集体领导、发挥下级组织的积极性创造性的条文全部取消；并取消五大以来设立的监察委员会；还取消了党员权利和入党预备期，用接班人的五项条件代替八大党章的党员十条义务。所有这些，给党的建设带来严重后果。1973年8月召开的十大，继续了九大的“左”倾错误。十大通过的党章沿袭九大党章的总纲和条文，只作了个别的修改和补充。粉碎“四人帮”后于1977年8月召开的十一大通过的党章，同九大、十大党章相比，内容上虽然作了较多的修改，但是，由于十一大仍然肯定十大的政治路线和组织路线，十一大党章也就继续沿用“文化大革命”的错误理论、方针、政策和口号，而未能清除“左”倾错误的影响。这些错误在党的十一届三中全会以后得到彻底纠正。实现了伟大历史转折的中国共产党，为继续领导中国各族人民在社会主义新道路上开拓前进，迫切需要一部彻底纠正“左”倾错误，适应新的历史时期的特点和需要的新的党章。
党章的修改工作同修改宪法和起草历史决议同步，从1979年冬就开始了。1979年10月，中央政治局常委研究，为明年五中全会、六中全会和后年十二大做点准备，要做四件事，其中第一件事，就是修改党章。预定1980年2月五中全会讨论，年底六中全会通过，然后提交十二大。当时，胡乔木已经着手起草历史决议的工作。中央指定党章修改工作由胡耀邦负责，从中央组织部、中央党校、中央办公厅研究室等单位调集一批干部做准备。在胡耀邦带领下，举行过很多次座谈，还派出相当多的干部到全国许多地方进行调查，征求意见，并拟出了一个草稿。
1980年1月，党中央决定党章修改工作正式开始。
在1980年1月16日中共中央召集的干部会议上，邓小平发表重要讲话，宣布：中央正在考虑修改党章。他指出：九大、十大搞的党章，实际上不大像党章，党员有些什么权利和义务，究竟什么样才算个共产党员，不合条件怎么办，都没有规定好，需要修改。对党员的要求一定要严格。我们需要通过讨论党章草案，对全党进行教育，然后在十二大正式通过党章。
在1月21日前夕召开的中央政治局会议上，邓小平对党章的修改提出许多重要的指导性意见。他指出：党员合格不合格是个大事。党章对党员的义务和权利要有明确规定。要用党章规定的条件来衡量党员合格不合格。现在党章有些条文规定得不明确，不足以反映当前存在的问题，因此规定必须明确。以后要求入党和党员登记都要根据党章办事。邓小平强调：党章要写好，让人看了以后，感到面目一新，对党有信心、有希望，照新党章办事就能把党整顿好。邓小平要求尽快提出一个修改草案。他说：党章修改草案提交五中全会讨论以后，也要发下去，用半年左右的时间，对全体党员进行教育。
会后，在党中央领导下组成了一个党章修改小组，由胡耀邦、胡乔木主持，邓力群具体负责。起草小组即以邓力群任主任的中央办公厅研究室为依托。从1月20日开始，胡乔木、邓力群即着手进行修改党章的工作。他们采取流水作业的办法。起草小组每改出一章，先交邓力群阅改，再送胡乔木修改。
1980年1月28日，邓小平同胡乔木和胡耀邦、邓力群谈对《中国共产党章程（修改草案）》的意见。关于建立党的顾问委员会，邓小平说：党章作这一规定的目的是使党的各级委员会逐步年轻化。要讲清各级顾问委员会的性质、职权。与此相联系的，还是要按国家规定实行干部离职退休制度。关于党的各级委员会委员的条件，邓小平说：总的趋势应该是年轻化、专业化。党的各级委员会的人数不能太多，要年富力强，真正干事。他还指出：党员的条件要严格一些。具备什么条件算共产党员，不够条件的怎么办？还应要求党员要把党和人民的利益放在第一位，两者发生矛盾时，要牺牲个人利益。
遵照邓小平的意见，胡乔木、邓力群带领起草小组进行了紧张的讨论和大量的修改，形成了修改草案第一稿（2月3日稿）。邓小平看过后即于2月5日再次同胡乔木和胡耀邦、邓力群谈话。邓小平说：这一稿我很满意，可以说是面目一新了。不但把我们历次党章中好的部分都写进去了，而且把粉碎“四人帮”以来中央负责同志反复强调的一些重要问题都包括进来了。增加的“干部”一章有很多新的规定，还把过去党章中一些程序性的东西压缩了，这很好。对有关中纪委的条文，也写得很好，提高了他们的地位。对党章中章节的写法，邓小平也完全同意。
围绕党章修改中涉及的一些问题，邓小平同胡乔木和胡耀邦、邓力群进行了讨论。
在胡耀邦汇报到党章修改草案的总纲中没有提毛泽东的名字时，邓小平说：这个问题是总纲中最大的问题。作为一种科学的语言，马克思主义是可以包括列宁主义和毛泽东思想的，但如果我们的党章中只提马克思主义，不提列宁主义和毛泽东思想，国际上就会有人说我们党的性质变了，国内就牵涉一个毛泽东思想的问题。所以，要写上中国共产党以马克思列宁主义、毛泽东思想作为自己的行动指南。
胡耀邦又提出：在这个初稿的总纲中，对于党在现阶段的总任务的表述，同叶帅去年国庆三十周年讲话和小平同志今年1月16日讲话不一致，下边会不会说“上边精神多变”。邓小平表示：党章总纲这样写我赞成。不一致的地方将来做修改党章报告时，加以说明就是了。还说：要建设一个现代化的、高度民主的、有高度文化的社会主义国家，我们党的各级领导干部都要有科学知识，有相当的文化水平。没有这些，就担不起领导责任。
在谈到第一章党员的内容时，邓小平表示满意。他说：这一章写得很好，党员的标准提高了，对党员的要求提高了，党员应该履行的义务提高了，很有必要。真正按党章规定的办，做一个党员不容易。邓小平指出：我们党面临一个党员更新的问题。对那些不合乎党员条件、不履行党员义务的党员，要进行教育，经教育不改的要采取措施。
说到这里，胡乔木插话说：恐怕将来对党员要搞重新登记。
邓小平接着说：党章对党员的义务和权利要有明确规定。要用党章规定的条件来衡量党员合格不合格。党员要按党章办事，不能谋取私利，不能有超越党章规定以外的权利。现在党章有些条文规定得不明确，不足以反映当前存在的问题。有了规定不照办是另一回事，但规定必须明确。他着重指出：党员的条件要根据执政党的情况提出。党执政和不执政，大不一样。不执政的，特别是处于非法状态的共产党员，是要随时准备牺牲的；执政的党员，却可以从党内捞到好处。要在什么地方讲一下，党员要把党和人民的利益放在第一位，两者发生矛盾时，要牺牲个人利益。
对党员一章中增加了入党要举行宣誓仪式的内容，邓小平说：很好，我很赞成。我加入共青团时，是和蔡大姐一起宣的誓，誓词是事先背好的。入党宣誓是一件很庄重的事，可以使人终生不忘。
对这个党章修改草案稿，中央认为，已经可以作为讨论和进一步修改的基础。
2月5日谈话以后，胡乔木带领修改小组又作了修改，形成正式的《中国共产党章程（修改草案）》，提交十一届五中全会（2月23日至29日）讨论。
根据五中全会讨论的意见，党章修改小组3月份改了两遍。1980年3月27日，五中全会新产生的中央书记处讨论并通过了第二遍修改稿（3月23日稿），决定组织全党讨论，同时发给部分党外人士征求意见。
1982年5月，胡乔木带领修改小组，根据党内外提出的意见，再一次作了认真修改。这次修改的地方比较多，直到5月下旬才完成。
6月2日，胡乔木与胡耀邦、邓力群联名向中央常委报告了党章修改的情况，并提出：这个党章修改草案，“拟根据常委同志的意见修改后，即印发各省、市、自治区党委和中央党政军各部门党组织，请他们就近组织十二大代表开会讨论，征求意见。然后，再加修改，正式提请十一届七中全会审议。”中央书记处于6月将“再加修改”的党章草案发给各省、市、自治区和各大军区党委、中央党政军各部门党组织和全体十二大代表征求意见。29个省、市、自治区党委和中央党政军85个单位，将讨论情况和修改意见向中央写了专门报告。据统计，参加这次讨论的共有13882人，其中十二大代表925人，提出修改意见1030条。
此后，修改小组根据收集到的意见又一次进行修改，历时一个多月，形成7月26日稿。经中央政治局讨论，决定提交8月6日举行的十一届七中全会讨论。七中全会通过了《中国共产党章程（修改草案）》，决定提交将于9月1日召开的党的第十二次全国代表大会审议。