由于中央组织部存在的问题引起老干部们的公愤，叶剑英多次提出要解决中组部的问题。他说：喊冤上访的人这么多，要找一个断案如神的包公啊！经过反复商议，华国锋、邓小平等都同意胡耀邦出任中央组织部部长兼中央党校副校长。中央于1977年12月10日发出任命书。
1977年12月15日胡耀邦到中央组织部报到，然后返回中央党校安排一下工作。12月19日中组部召开全体干部大会，胡耀邦在大会上发表讲话。他说：盛平：《胡耀邦思想年谱》，泰德时代出版有限公司2007年版，第124—125页。
贯彻执行毛主席的干部路线，把林彪、“四人帮”颠倒了的干部路线是非纠正过来，是我们中央组织部的根本性任务。现在可以说是积案如山，步履维艰。这山究竟有多高？是喜马拉雅山，唐古拉山，还是泰山？一时难以说得清。仅是人人熟知的“文化大革命”期间的重大案件，究竟有多少受害者，谁也说不清。至于“文化大革命”前的历次政治运动，究竟伤害了多少自己人，也没法说得清。还有，建国前由于历史条件而形成的一些冤假错案，如被捕被俘人员问题，延安“抢救运动”的遗留问题，“红旗党”与其他一些地下党的悬案，当年苏区“AB团”冤案等等，又有多少冤魂在呼求平反昭雪，谁能说得清？所以说积案如山。对于建国以来以及“文化大革命”中每一个冤假错案的复查和给蒙受冤屈的同志落实政策，自然是党的组织部门责无旁贷的首要任务；而对于建国以前的历史遗留问题，不管是由于当时的历史条件所限或者是战争环境的影响，还是受康生等人的阻挠破坏而没有解决或解决得不彻底的，我们组织部门也要把澄清这些问题当作自己义不容辞的责任。但是阻力可能是很大的。我们每向前迈一步，其艰难程度就如同攀登喜马拉雅山，所以说“步履维艰”。然而，不管如何艰难，我们也要有“会当凌绝顶”的决心。最后提出两个要求：一是认真做好来访接待工作，二是认真处理群众来信。大家共同努力恢复与发扬党的优良传统和作风，把党的组织部门建设成为“党员之家”、“干部之家”，扫除这些年来“门难进、脸难看、话难听、事难办”的官衙恶习，使每一位来访的党员、干部，不论党龄长短、资历深浅、职务高低，都能感受到一视同仁的亲切温暖，无话不可谈，无事不可求，把郭玉峰他们过去紧跟“四人帮”迫害老干部的那股阴风一扫而光。今后如有蒙冤挨整的老同志来找我，我都要和他们见面谈话，请任何人不要阻拦。凡是信封上写有“胡耀邦”三个字的来信，都请及时送给我，如没有我的同意，任何人不要主动代劳处理，更不能扣压。现在要做的事情太多了，你们帮我分挑一些重担吧！首先要恢复党的优良传统和作风，把中组部的风气彻底转变过来。我们要打开大门热情接待好每一位来组织部申诉冤屈的老干部，给他们关心和帮助。
现在，人们在评论胡耀邦的历史功过时，似有一种错觉，认为他在选择改变中国命运的突破口时，首先是打破“两个凡是”的“精神枷锁”，然后才着手打破“组织枷锁”的。事实上，这两个“打破”基本上是同步进行的。只不过它们发端于中央党校，逐步深入开展于中央组织部。
中央任命胡耀邦主持中央组织部工作，则使他在中央党校发起打破精神枷锁的思想解放运动之后，又获得了打破极左路线枷锁的机会，从而开始了平反冤假错案的浩大工程。党内老同志一般认为，当时中央做出这一重要任命，除了与胡耀邦在延安时期曾担任过八路军总政治部组织部部长有关外，还与胡耀邦这两年组织撰写发表了数篇重要文章有很大关系。作者认为，可能还与胡耀邦与华国锋有很好的工作关系有关。胡耀邦与华国锋在湖南湘潭地委一起工作过一段时间，并有很好的合作。1977年3月华国锋提名胡耀邦任中央党校副校长(主持工作)，并给予很多的工作支持。1981年，中共十一届六中全会解决华国锋问题时，胡耀邦“希望与华国锋继续合作”，但没有获得通过。满妹：《思念依然无尽：回忆父亲胡耀邦》，北京出版社2005年版。
胡耀邦在延安当总政组织部部长时口碑即佳。30年后，听说他又主持中组部工作，来信来访的老干部便络绎不绝。他上任的第一个月里，每天都有好几百人到中组部上访，光收到的来信就装了六麻袋。胡耀邦身体力行，除了每天晚上几小时的睡眠以外，剩下的时间他几乎都在与人谈话或处理来信。
中组部的同志曾做过粗略的统计，胡耀邦在任中组部部长的一年零一个月里，平均每天处理副厅局、地委书记以上级别干部的申诉信33封，最多时一天处理200多封来信。经他的手处理的信件，有的作了批示，有的亲自回复。
1978年初，一些坚持“两个凡是”的人仍然位居中央领导岗位，控制着中央专案大权，因而，平反冤假错案工作遇到了难以想象的重重阻力。有的中央领导说：“平毛主席定的案子，矛头指向谁？”分管组织工作的中央副主席说：“这是经毛主席亲自审阅、批定的案子，谁敢平反？”还有组织部门的领导说：“这是按毛主席指示办的，就是把大楼吵塌了，也不能动！”
胡耀邦没有被这些位高权重的人和他们唬人的高调所吓住难倒。他指出：毛主席不是完人，特别在他的晚年，也有缺点和错误，领导和发动“文革”，就是一个最明显的例子。我们正是遵照马列主义、毛泽东思想的基本原理，纠正我们党自己的错误，包括他老人家的一些错误。
中央专案审查小组是于1967年夏由中共中央决定成立的，是负责对党和国家领导人及高级干部进行立案审查的专门机构。下设的办公室，“一办”负责中央机关和各省、市领导人的专案，“三办”负责公检法系统的专案。
虽经胡耀邦反复交涉，中央专案审查小组移交档案一事，从年初一直拖到5月仍无结果。他们不但不交档案材料，索性连中央档案馆的资料也封起来了。
5月中旬，邓小平的一个批示转到中央组织部，要求为中央的几名高级干部复查。而这几名高级干部在“文革”中受审查的档案材料，全都封存在“一办”。胡耀邦借此机会首先取得了邓小平、叶剑英两位副主席的支持，然后在向华国锋主席汇报工作时，专门反映了“六十一人案件”的当事人及其家属强烈要求复查此案的请求，表示中组部准备进行复查，要求中央专家审查小组将档案移交给中组部。
华国锋同意了。1978年5月，中央决定把中央专案审查小组下属的“一办”、“三办”掌管的专案材料，全部移交给中央组织部。然而，移交时那位中央副主席坚持不移交所有的专案材料，说：“一办”和“三办”的案子，没有“四人帮”的干扰，都是中央讨论过的，是毛主席批示的。不要因为粉碎了“四人帮”，过去定了的案件就要推翻。“六十一人”的案子是经过毛主席和党中央批准才定案的。还有彭德怀、陶铸的结论，也不能随便翻过来。
这时，胡耀邦下决心抛开中央专案审查小组的材料，另起炉灶。他对来诉苦的干审局负责同志说：“急也没有用，不等了，我们自己干。”直到党的十一届三中全会，经过胡耀邦和一些老同志的努力，中央决定撤销中央专案审查小组及所属办公室，有关专案才一律交给中组部办理。
从中组部接收的17349卷391363件专案材料中看到，被审查的高级干部有669人。其中被定为问题性质严重或敌我矛盾的有320人，占被审查人数的47.8%。这些人中，副省长、副部长213人，中共中央委员和候补中央委员71人，中央政治局委员10人，中央书记处成员10人，国务院副总理7人。
胡耀邦非常重视调查研究。他认为调查研究是做好一切工作的前提，也是做好组织工作的基本功。对需要审查的案件，他不仅要求派人彻底核实清楚，而且要求写出实事求是的调查报告。同时要求调查报告要材料翔实，经过核对，在有分析、有观点的基础上做出结论。
“六十一人叛徒集团案”，刘少奇、张闻天、贺龙的冤案，“彭(德怀)黄(克诚)反党集团案”，“丁(玲)陈(企霞)反党集团案”的处理，以及对乌兰夫、彭真等人的平反，都是认真按照上述要求，经过严格必要的程序，最后结案的。
那段时间，北京开了很多追悼会，为含冤去世的平反昭雪。开始时是专为一位同志开，后来就发展到同时为七八位同志一起开，有时一天要开几个追悼会。即使这样，胡耀邦总是亲自看悼词，修改悼词，他还亲自到一些老同志家里去看望，到医院去看望。胡耀邦曾经满怀深情地说过：“我就是要为那些蒙冤的好同志奔走到底！”
张际春、徐海东、吴芝圃、刘长胜、张霖之、王世英、南汉宸、刘裕民八位同志的追悼会就是在1979年1月24日同时举行的。第二天又接着举行了廖鲁言、徐子荣、胡锡奎、刘锡五、王其梅五位同志的追悼会，均由胡耀邦致悼词。
为了尽快在中央和国家机关落实干部政策，使6000多名干部工作妥善安置，胡耀邦刚到中组部就要求成立了“安排待分配干部工作组”，指定由曾志副部长牵头，抽调吕枫等25名干部，分别组成了综合、分配等办公室。
曾志深有感触地说：“耀邦同志在中央组织部短短一年多的时间里，他的思想作风、工作作风和生活作风，给我们留下了难以忘怀的印象。这种榜样的力量是强大的，它本身就像无声命令，团结、教育、激励、带动了中组部的全体同志，使我们能在那个百废待举、积案如山的时期，冲破阻力，完成了党和人民赋予我们的艰巨使命。”
吴江晚年同很多人动情地讲：吴江：《政治沧桑六十年》，兰州大学出版社2005年版，第182页。
平反冤假错案自非胡耀邦一人之功，亦非胡耀邦一人之力，但胡耀邦对平反出力最大，最有胆识，态度最坚决，断案最公正，这是无人能够否认的。中国共产党内人才可谓多矣，胡耀邦并非雄才大略，亦无赫赫战功，更非老谋深算一类人物，胡耀邦之所以能够在反“左”和平反冤案方面敢作敢为，全凭他抱有共产党人的一颗赤子之心，敞得开胸怀，容不得半点私人杂念和半点派别成见，痛恨整人立威，痛恨以整人之术作为向上爬的手段，痕恨将自己的权位建立在别人的冤屈和痛苦的基础之上。环顾共产党的历史，雄才大略位高权重者固不乏人，但像胡耀邦那样从总体上看虽非大政治家，但在风波诡谲、派别林立的政坛中能够终身怀抱赤子之心、始终表现出献身精神者则几如凤毛麟角。