1949年7月，我解放大军挥戈南下，张鼎丞也奉命率领干部随中国人民解放军第10兵团南下福建。长江支队和华东支队抵达浙江江山新塘边时，张鼎丞主持召开两个支队的主要干部会议，宣布了中共华东局的决定：成立中共福建省委，张鼎丞任省委书记，同时出任福建军区政委、福建人民政府主席三个重要职务。
福建是国民党军队溃逃的最后阵地之一，也是他们逃台的跳板，情况极为复杂。新任省委书记张鼎丞和第三野战军第10兵团司令员叶飞，率领15万大军和5000多名南下干部，在地方游击武装和人民群众配合下，以秋风扫落叶之势解放了福建。为了巩固新生的人民政权，张鼎丞及时布置了剿匪反霸工作，1950年10月，他根据党中央、毛泽东的指示，在省委的直接领导下，实行党、政、军、民总动员，党委领导亲自动手，专门机关与群众路线相结合的工作路线，大张旗鼓地开展镇压反革命运动，一大批血债累累的坏分子被抓获。张鼎丞学习运用共产党接管上海的经验，顺利地领导了福州、厦门两市的接管工作，迅速地建立了新的秩序。到1951年4月，消灭了福建的成股土匪，提前完成中央下达的剿匪任务，得到毛泽东的充分肯定。
张鼎丞1954年9月调离福建，奔赴北京担任最高人民检察院检察长、党组书记。他在保护人民民主，打击敌人和刑事犯罪活动，建立健全社会主义法制，巩固人民民主专政的斗争中，作出了重要贡献。我国的检查制度是在建国后才建立起来的一项新制度，它的建立和发展，经过了艰难曲折几起几落的过程。面对来自各方面压力和“左”的、右的错误干扰，张鼎丞始终坚定不移地坚持原则，进行不懈的斗争，使检察机关得以坚持下去并取得很大成绩，为我国检察制度的建设和健全积累了丰富的经验。