一、接受起草任务
正在宪法和党章修改工作紧张进行的时候，十二大报告的起草任务提上了日程。1982年2月23日，中央办公厅会议处给胡乔木处打电话告知，中央书记处准备近日内开会讨论十二大文件起草工作，征询胡乔木有何意见。胡乔木要秘书黎虹答复：这件事主要请耀邦同志定。耀邦同志早就想谈对十二大文件起草的意见。如果他能谈，就开会；如果他不能谈，就推迟。
3月3日下午，胡耀邦找黎虹谈关于十二大报告的起草。他说：今年要召开十二大，十二大报告的起草工作就要提上日程，希望乔木同志多考虑一下这方面的问题。胡耀邦还说：三中全会以来这三年，各方面都有很大进展。建国以来的历史决议作了，全党统一了思想，但各条战线的问题并不等于都解决了。各条战线、各个部门都要结合十二大的召开系统地总结一下经验，提出各自的工作究竟怎么搞。不能零打碎敲，要从根本上系统总结一下，要搞“成套设备”。胡耀邦要黎虹转告胡乔木，具体事可以少管一些，否则受不了啊。
谈过话后，黎虹立即到医院向胡乔木报告。胡乔木说：耀邦的用意是好的。当然，起草十二大报告这个任务是不能推的。
1982年4月22日上午，胡乔木参加中央书记处会议，讨论十二大准备工作。会议决定：十二大文件的起草工作由胡耀邦、胡乔木共同主持，具体起草工作由胡乔木负责，邓力群协助。5月5日之前，起草班子到玉泉山集中，6月底以前交出初稿。
当天下午，黎虹就找邓力群商量起草班子的组成，初步商定胡绳、林涧青、袁木、郑惠、龚育之、郑必坚、王忍之、李慎之、有林、卢之超、罗劲柏、滕文生、马列、钱家栋等十多人参加。邓力群要黎虹将这个名单送胡耀邦的秘书郑必坚报胡耀邦。
二、胡耀邦对十二大报告的设想
黎虹立即到勤政殿胡耀邦办公室，先同郑必坚商量起草小组成员名单。这时，胡耀邦走了进来。他问了问情况，就谈他对十二大报告的设想。
对报告的写法，胡耀邦已经酝酿多时，成竹在胸，他说：我初步设想，十二大报告写六个部分：第一部分，讲这几年是怎么走过来的，说明经过曲折，成绩来之不易，对这几年的情况要有个描绘。第二部分，讲经济建设究竟怎么搞，20年后搞成什么样子，路子怎么走，要有个回答，要给人们以信心。第三部分，讲政治建设，着重讲精神文明，讲民主与法制。第四部分，讲国际问题，讲我们为什么要实行现在的外交方针。第五部分，讲党的问题，讲为什么要修改党章。最后一部分，讲团结起来为实现共同的目标而奋斗。全文有三万多字就可以了。报告要有理论、有思想、有深度、有新意，深入浅出，讲出点道道，回答人们最关心的问题。要指明前途，给人以信心。要夹叙夹议，不要絮絮叨叨，拼凑很多情况和老话，使人听了沉闷。也不要发号施令，尽是空话、口号。十二大报告具体怎么写，我还没有想好。请大家下点功夫，共同构思，共同创作。参加的人多少，由乔木定。先把总的思路搞清楚，然后两三个人写一部分，再深入研究。
三、胡乔木对十二大报告的构思
4月24日，胡乔木把袁木、郑惠两人找来，谈了对十二大报告的要求和起草工作的打算。他说：十二大报告既不同于六中全会通过的《历史决议》，也不同于国庆三十周年叶帅讲话，要求理论性强，有文采，有新意。既要讲清我们取得的成就和存在的问题，又要指明前途，给人以信心。中央决定6月份拿出初稿，时间很紧。起草班子要配得强一些。先确定这十几位同志，需要时再临时抽调。他交代：下午就通知起草小组所有人员到玉泉山集中，先分头到有关部门开座谈会，做些调查研究，听取他们对起草十二大报告的意见和建议，然后我们再共同研究。并说：我和耀邦同志5月5日以前去玉泉山，计划住两个月。6月底写出初稿。
谈话以后，起草班子即按胡乔木的部署行动，分头到一些部门开座谈会。胡乔木也先后找姚依林、赵紫阳等人，听取他们对十二大报告经济方面的意见。
5月1日晚7时半，胡乔木在玉泉山五号楼召集会议，听取起草班子主要成员汇报到各部门调研的情况。比较一致的意见是，十二大报告要讲清楚以下问题：今后二十年的战略目标和发展阶段，三中全会以来的经济形势，经济体制改革、干部制度改革如何搞，精神文明建设、民主与法制建设如何进行。
听取汇报后，胡乔木讲了他对十二大报告内容的构思。
第一，经济方面。要讲经济形势，经济前景。经济前景要讲二十年的战略目标和战略阶段，但主要讲最近五年。要研究南斯拉夫、波兰等国家经济危机的教训，研究计划经济如何同市场经济相结合，研究分散和集中之间如何找到一条中线。耀邦同志多次讲，要打开经济工作新局面，究竟怎么打开？请大家考虑。
第二，精神文明方面。要讲精神文明同物质文明的关系。精神文明是上层建筑，物质文明是经济基础。物质文明是生产力，不是生产关系。精神文明是生产力和生产关系的重要体现。生产力本身不能解决精神文明问题。只解决生产关系也不一定能解决精神文明问题。人与人之间的关系，不仅表现为生产关系，还有其他关系。可以这样说，一定的精神文明，就有一定的生产关系；一定的生产关系，就有一定的精神文明。这要从理论上说清楚。现在有一种论调，有了先进的生产关系，其他一切问题都解决了。种种现象表明，光讲经济建设、生产关系不行，还要讲精神文明。
第三，党的建设方面。特别要讲整党的必要性，要说明我们是能够整好党，把党建设好的。
四、关于社会主义精神文明的新观点
从5月6日至5月8日，胡乔木同胡耀邦一起，在玉泉山五号楼召集起草小组全体成员接连开了三次务虚会。5月10日开始，即动手起草报告。一个星期，初稿就写成了。随后，围绕初稿集中讨论两个问题：精神文明建设问题和经济问题。
关于社会主义精神文明，邓小平在1982年4月3日同胡乔木、邓力群谈实现社会主义现代化的政治保证问题时发表了重要意见。邓小平把发展社会主义精神文明提到战略的高度，指出是实现社会主义现代化建设宏伟目标的四项政治保证之一。邓小平说：把社会主义精神文明建设，作为一个重大任务长期抓下去。教育、科学、文学、艺术、卫生、体育都是社会主义精神文明的重要方面。社会主义精神文明建设，中心是三句话，有理想、有道德、有纪律。要使全国各族人民，无论是男是女，是老是少，是党员还是非党员，都要成为有理想、有道德、有纪律的人。我们的人民，我们的党，要继续发扬艰苦奋斗、自力更生的精神。我们坚持对外开放，但是终究要以自力更生为主。无论干什么，都要立足在这个基础上。过去的革命和建设靠自力更生，今后进行社会主义现代化建设，还是靠自力更生。要在全党和全国各族人民中间，形成这样一种风气、一种作风、一种精神状态。
在邓小平启发下，胡乔木在4、5月间主持起草十二大报告时，对社会主义精神文明建设的认识有所提高和发展。他从历史上、理论上作了深入的研究和思考，提出了新的重要观点，并作了深刻的论述。除上文已经说到的5月1日晚胡乔木同起草组同志谈话之外，5月中旬讨论初稿时，胡乔木又提出两个重要的新观点：一个是社会主义精神文明要以共产主义思想为核心；一个是社会主义精神文明是社会主义的重要特征，也是社会主义优越性的重要表现。胡乔木认为社会主义精神文明可以这样来界定：“社会主义精神文明是以共产主义思想为核心的；它是社会主义社会关系的一个重要特征。也就是说，它是社会主义政治、文化在一定范围内的综合体现，是社会主义优越性的重要表现。”
这是胡乔木继1981年起草政府工作报告时提出精神文明分为“文化建设”和“思想建设”两大部分后，对社会主义精神文明的认识上、理论上的新发展。
一位起草小组成员回忆胡乔木关于精神文明的谈话时说：为了社会主义全面健康的发展，乔木用了很多时间和精力考虑社会主义的政治文化和精神文明，同我们作了系统的极富哲理的交谈，引证理论和历史，以长远的历史眼光和深邃的理论思维讲社会主义精神文明问题。胡乔木说：建设社会主义不仅要有物质目的，而且要有精神目的。发展经济和实行按劳分配当然是最重要的，但社会主义不限于经济运动，社会主义关系不限于经济关系。社会生活当然离不开物质生活，但不仅仅是物质生活。动物才仅仅是物质生活。马克思说，人只有在维持自己生活的劳动以外，才开始真正的人的生活，才有高度的自由。世界上所有的大科学家、探险家、革命家等等，都不只是为了个人的物质利益和报酬，才做出那些贡献的。
任何推动社会进步的力量都离不开不计报酬的奉献精神，社会主义更应当如此。在日常生活中，一般人可以只讲物质利益、按劳取酬等等，但先进分子必然不是这样，所以我们要扩大先进分子的队伍。而在特别的情况下，在紧张的斗争中，如长征、抗战以及日常的抗洪救灾等斗争中，许多人甚至全体成员都可以表现出这种无私奉献精神。社会主义的概念最早是作为伦理学概念提出来的，是与个人主义相对立的。如果社会主义不确立个人服从社会的原则，那么这种社会主义就是跛足的；如果把社会主义关系仅仅限于生产关系，社会主义任务又仅仅看成发展生产力，那么这种社会主义就会变得简陋和低级，同福利国家差不多。现在就有这种情况，工农兵学商，一起来经商。大家都围着钱转，这就会分泌出一种腐化自己的毒素，社会主义就要蜕化。
四个现代化是从物质生产力、科学技术方面说的，是与资本主义共同的、可比较的。唯有社会主义精神文明不一样，它有强烈的社会主义特点。科学教育文化是社会主义精神文明的前提，但任何现代化都要有发达的科学教育文化，所以它本身并不是社会主义精神文明的本质特点。
社会主义精神文明也不能说成仅仅是道德问题。首先应该是社会主义思想，在这个基础上才有社会主义道德。而社会主义的思想、理想，最根本的是个人利益与社会利益的一致性，个人利益服从社会利益。因为社会主义的根本要求就是实现人与人之间的互相尊重，人与人的平等。每个人认识与实行对社会的义务。社会保障人，人要保障社会。经济上如此，政治上文化上也如此。这样的社会主义才能不断前进。
十二大报告采纳了胡乔木对社会主义精神文明建设的新认识、新观点。
十二大报告指出：以共产主义思想为核心的社会主义精神文明，是社会主义的重要特征，是社会主义制度优越性的重要表现。我们在建设高度物质文明的同时，一定要努力建设高度的社会主义精神文明。这是建设社会主义的一个战略方针问题。是否坚持这样的方针，将关系到社会主义的兴衰和成败。如果忽视在共产主义思想指导下在全社会建设社会主义精神文明这个伟大任务，人们对社会主义的理解就会陷入片面性，就会使人们的注意力仅仅限于物质文明的建设，甚至仅仅限于物质利益的追求。那样，我们的现代化建设就不能保证社会主义的方向，我们的社会主义社会就会失去理想和目标，失去精神的动力和战斗的意志，就不能抵制各种腐化因素的侵袭，甚至会走上畸形发展和变质的邪路。
报告阐明：共产主义作为社会制度，在我国得到完全实现，还需要经过若干代人的长时期的努力奋斗。但是共产主义首先是一种运动。现在这个运动在我国已经发展到建立起共产主义社会初级阶段的社会主义社会。因此，共产主义的思想和共产主义的实践早已存在于我们的现实生活中。那种认为“共产主义是渺茫的幻想”、“共产主义没有经过实践的检验”的观点是完全错误的。
报告论述了两个文明的关系，指出：物质文明的建设是社会主义精神文明的建设不可缺少的基础。社会主义精神文明对物质文明的建设不但起巨大的推动作用，而且保证它的正确的发展方向。两种文明建设互为条件，又互为目的。