中共十一届三中全会以后，拨乱反正的工作全面展开。在历史转折时期，问题堆积如山，特别是“文化大革命”造成的冤假错案和建国以来的历史遗留问题，所涉及的范围之广，解决起来难度之大，是前所未有的。这时，重新担任中共中央副主席，同时兼任中央纪委第一书记并分管中央政法部门工作的陈云，工作异常繁忙。
复查和平反党的历史上一批重大的冤假错案，是“文化大革命”结束后拨乱反正的一项重要内容，也是陈云领导的中央纪委积极参与的一项重要工作。
陈云在1978年11月的中央工作会议上，率先提出必须坚持“有错必纠”的方针。接着召开的中共十一届三中全会，根据陈云等的意见，重新审查并纠正了过去对彭德怀、陶铸、薄一波、杨尚昆等所作的错误结论。三中全会闭幕后第二天，即12月24日，党和国家领导人以及首都各界群众代表2000多人，在人民大会堂隆重举行追悼大会，沉痛悼念彭德怀和陶铸。叶剑英主持追悼会，邓小平、陈云分别致了悼词。
三中全会以后，除为刘少奇平反昭雪外，经陈云直接提议复查和平反的，还有党的其他重要领导人和文化界著名人士，如瞿秋白、张闻天、萧劲光、马寅初、潘汉年、徐懋庸等。
瞿秋白是1935年从中央革命根据地突围途中被捕后在福建长汀英勇就义的。中共六届七中全会通过的《关于若干历史问题的决议》说：瞿秋白是“当时党内有威信的领导者之一，他在被打击以后仍继续做了许多有益的工作，在1935年6月也英勇地牺牲在敌人的屠刀之下”。《毛泽东选集》第三卷，人民出版社1991年版，第964—965页。然而，在“文化大革命”中，江青、康生、陈伯达一伙，操纵一些不明真相的群众，以瞿秋白在狱中所写《多余的话》为依据，给瞿秋白强加上“贪生怕死”、“投降了敌人”、“叛变了党和无产阶级革命事业”等所谓“自首叛变”的罪名。十一届三中全会以后，中央纪委收到群众来信，要求为瞿秋白平反。陈云要求在中央纪委书记办公会议上“实事求是地予以研究”。《陈云传》，中央文献出版社2006年版，第1523页。
根据陈云的指示，中央纪委经过认真的调查研究，于1980年9月15日向中央书记处写了一份关于瞿秋白被捕问题的复查报告。对“文化大革命”中被有些人说成瞿秋白“叛变”主要根据是《多余的话》，报告中说：《多余的话》最先刊登在国民党中统特务机关主办的《社会新闻》杂志上。1954年以来，经反复查找，迄今国内外从未发现《多余的话》手稿，它是否为瞿秋白所写和是否经过敌人篡改，历来有人怀疑。报告认为：“目前流传的这个《多余的话》，即使是真的，文中一没有出卖党和同志；二没有攻击马克思主义、共产主义；三没有吹捧国民党；四没有向敌人求饶、乞求不死的任何内容。《多余的话》里，虽然也有些消沉的语言，但是，客观地、全面地加以分析，决不能认为是叛变投降的自首书。”1945年党的六届七中全会对瞿秋白同志所作的历史评价，是正确的。”10月19日，中共中央书记处讨论通过了中央纪委的这个复查报告，并批转全党，为瞿秋白彻底平反，恢复名誉。
马寅初是我国著名的经济学家和教育家。新中国刚成立时，中央人民政府任命马寅初为政务院财政经济委员会副主任，陈云是主任。1955年7月，马寅初在一届全国人大会上提出“节制生育，控制人口”的主张。在会上除少数人表示同意外，多数人不表示意见或不同意他的看法。1957年2月，毛泽东在最高国务会议上的讲话中，谈到从6亿人口出发和节制生育的问题，使马寅初很受鼓舞。他除了在会上发言外，还在6月下旬召开的人大会议上以《新人口论》为题作了书面发言，系统地阐述了自己在人口问题上的观点和建议。陈云对马寅初的主张是赞同的。
1959年，在康生的策动下，马寅初却被公开点名批判，说他的人口论是“马尔萨斯主义在中国的翻版”，是“反对社会主义革命和社会主义建设的”，等等。马寅初始终坚持自己的观点是正确的，拒绝写检查。1960年初，马寅初被迫辞去北京大学校长职务，之后又被免去全国人大常委会委员的职务。
1979年6月21日，陈云看到新华社简报刊登的调查报告《马寅初的家属希望尽快为马落实政策》。报告中说：“从1959年马寅初被批判而免去职务起，至今已20年。这期间，他一直闲在家里。”“中共中央统战部和北大一些曾经主管和批判过马寅初的同志认为：马寅初是国内外知名人士，他提出的‘新人口论’、主张节制生育等问题，实践证明是正确的，当时对他的批判、处理是错误的。因此，对马寅初的问题应该尽快进行复查，予以平反，公开恢复名誉。”
陈云看完后，当即批示胡耀邦：“马寅初的问题，应该平反，如何请酌。”胡耀邦立刻表示赞成，指示中央组织部同中央统战部商量解决这件事。在陈云作出明确批示后，为马寅初平反工作的步伐大大加快。
潘汉年在长期革命斗争中，特别是在开展对敌隐蔽斗争方面，有过很大的功劳。1955年4月初，中央召开一次会议时，潘汉年主动向党交代他在抗日战争期间，一次去敌占区工作时，曾被人挟持到南京会见汪精卫的经过。结果，他被怀疑为“内奸”遭到逮捕，并由政法机关审理。1963年，最高人民法院作出终审判决，认定潘汉年是“长期暗藏在中国共产党和国家机关内部的内奸分子”，判处有期徒刑十五年，剥夺政治权利终身。《中共中央关于为潘汉年平反昭雪、恢复名誉的通知》，1982年8月23日。“文化大革命”中，又将潘汉年永远开除党籍，改判无期徒刑。后被下放到湖南劳动改造，1977年4月含冤去世。这是建国以来的一大错案，也是祸及整个隐蔽战线的重大冤案。
1980年12月23日上午，陈云给公安部打电话，请公安部当天下午就将潘汉年案件的最后定案的全部材料送去。公安部部长赵苍璧给陈云回电话说：“对潘汉年一案的人都怀疑了，就剩下一个潘汉年了。”陈云说：“潘汉年也要平反，也站不住。”过了十天，即1981年1月3日，陈云又给公安部打电话，请公安部迅速整理一份有关潘案处理过程的梗概材料，送往中央纪委。1月16日，公安部按照陈云的意见向中央纪委报送了潘汉年一案的有关材料。
在调查研究了潘汉年案件的大量材料后，3月1日，陈云致信邓小平、李先念、胡耀邦、赵紫阳：《陈云传》，中央文献出版社2006年版，第1531—1532页。
“1979年10月确诊我患有结肠腺癌而决定动手术时，我曾写一条子给耀邦同志，我认为潘汉年的案件需要复查一下。我认为他当时并未真心投敌，否则不能解释刘晓同志领导下的上海党能完整地保持下来。潘汉年已于1977年死于劳改农场。所有与潘案有关的人都已作出结论加以平反。连潘汉年老婆董慧同志也已平反(也是1977年死的)。”
“我收集了一些公安部的材料和与汉年同案人的材料。这些材料，并无潘投敌的材料确证。而且对于刘晓、刘长胜同志等能在上海保存下来反面提供了潘并未投敌出卖组织或某一个同志。”
“我提议中央对潘汉年一案正式予以复查。这件事如中央同意，可交中央纪律检查委员会办理。”
信发出后，邓小平当天批示：“赞成”。李先念也批示：“同意。”3月3日，胡耀邦批示中央纪委对潘案进行复查。
从1981年3月中共中央政治局常委会根据陈云的建议，责成中央纪委复查潘汉年案件后，在一年多的时间里，中央纪委调阅和详细研究了公安部、最高人民检察院、最高人民法院以及原中央专案办公室关于潘案的全部材料，并查阅了中央档案馆和中央主管部门有关的历史档案，又向几十位过去同潘汉年一起工作过的人作调查。复查结果表明，原来认定潘汉年是“内奸”的结论不能成立，应予否定。1982年8月23日，中共中央根据中央纪委的复查结果，发出《关于为潘汉年同志平反昭雪、恢复名誉的通知》。
夏衍按照陈云的意见，于11月23日在《人民日报》上发表《纪念潘汉年同志》的文章。夏衍是1924年潘汉年在上海“创造社”出版部工作时同他认识的。两人交往颇多，也很深。文章说：“国共两党分裂、合作、再分裂，‘你中有我，我中有你’之类的斗争，在青年人心中已经是属于早已过去的事了。潘汉年同志就是在那种特定的环境下，在最前沿的阵地上，忠心耿耿地为党工作了几十年的好党员。”“‘潘案’的复查，终于在十一届三中全会之后实现了！从这点也可以看出三中全会的伟大意义。我们党的实事求是、有错必纠的传统，终于得到了恢复。”
在中共十一届三中全会前召开的中央工作会议上，不少干部就要求认真总结“文化大革命”的沉痛教训。三中全会后，这种呼声更加强烈，还要求总结建国以来党的工作中的经验教训，要求对毛泽东的功过是非作恰当的评价。国际上也在观察中国在这个问题上的态度，对中国共产党能否解决好这个问题十分注意。
陈云对这个问题采取很谨慎的态度。他指出：毛主席发动文化大革命，“主要是为了防止出现像赫鲁晓夫那样的事件，防止中国变修，本意是很好的”。“当初也不是要搞那么大。”后来，“文化大革命搞了十二年，至少十年”。“可以说它成为我们党在解放后的一个历史阶段，问题不小。”“看来这个问题需要作一个总结。当然，总结时要很慎重，要把林彪、‘四人帮’的破坏作用估计进去，适当估价文化大革命。”“文化大革命的经验教训对我们党很深刻。”“要研究为什么搞文化大革命，为什么会扩大化。将来适当的时候要总结，但现在不忙。越到后来，问题会看得越清楚。多观察一个时候，可能结论就更客观、更合乎实际、更科学。现在各方面都很忙，不必匆忙作结论。”《陈云传》，中央文献出版社2006年版，第1538—1539页。
1979年6月间，中共中央决定，由叶剑英代表中共中央、全国人大常委会和国务院在庆祝中华人民共和国成立30周年大会上发表讲话，对建国30年来的历史特别是“文化大革命”十年的历史给予初步的基本估价。9月25日至28日召开的中共十一届四中全会，讨论并通过了叶剑英的讲话。这个讲话，“不单是带有总结文化大革命的意义，实际上总结了、或者说基本上总结了建国以来三十年的经验教训”。陈云参加了会议，赞成叶剑英的讲话。
但是，这个总结毕竟还是初步的，正如叶剑英在讲话中所说：“中共中央认为，对过去三十年特别是文化大革命十年的历史，应当在适当的时候，经过专门的会议，作出正式的总结。”《叶剑英选集》，人民出版社1996年版，第522页。不久，中共中央把起草《关于建国以来党的若干历史问题的决议》提上议事日程。这项工作在中共中央政治局、中央书记处领导下，由邓小平主持。1980年2月，起草小组草拟出历史决议的提纲，送邓小平审阅。邓小平看后，在3月19日找胡耀邦、胡乔木、邓力群三人谈话，提出起草历史决议的三条总的原则：“第一，确立毛泽东同志的历史地位，坚持和发展毛泽东思想。这是最核心的一条。”“第二，对建国三十年来历史上的大事，哪些是正确的，哪些是错误的，要进行实事求是的分析，包括一些负责同志的功过是非，要做出公正的评价。”“第三，通过这个决议对过去的事情做个基本的总结。还是过去的话，这个总结宜粗不宜细。总结过去是为了引导大家团结一致向前看。”《邓小平文选》第二卷，人民出版社1994年版，第291、292页。此后，在历史决议起草过程中，邓小平发表了十多次谈话，指导起草工作。
陈云非常重视这项工作。他完全赞成邓小平提出的三条原则。从1980年6月至1981年3月间，先后七次找胡乔木、邓力群等谈话，提出自己对起草历史决议的意见。
起草历史决议，首先要正确评价毛泽东，确立毛泽东的历史地位，坚持和发展毛泽东思想。这是邓小平讲的最核心的问题。陈云认为，从国际共运的经验来看，必须正确对待毛泽东所犯的错误，正确评价毛泽东的功过是非，这仅是对毛泽东个人，尤其关系到我们党的整个历史。对毛泽东的评价，实际上就是对我们党的历史的评价。