祖莹，字元珍，北朝范阳遒县（今河北涞水县北）人。他出生在世代作官的人家，小时候既聪明，又勤奋，8岁就能背诵《诗》和《书》并且还会做诗写文章。亲属们都称赞他是“圣小儿”，意思是小神童。
据《魏书》记载，祖莹读书非常刻苦。他总觉得白天的时间不够用，因此常常夜里攻读。父母怕他累坏身体，多次阻止，不让他夜里看书。但他学习如饥似渴，觉得晚上不读书太可惜。父母为这事常犯愁。一天，父母把家里的灯盏、烛台都藏了起来。祖莹知道这是父母不让他夜读，就悄悄地把火拣在小炉子里，然后盖上一层薄薄的灰。一到夜晚，他拨开灰层，将炭吹红，再用衣服被子把窗户遮上，不让光线透出去。就这样刻苦攻读，博览群书。
为了学到更多的知识，他又拜当时的中书博士张天龙为师，学习《尚书》。祖莹投师后，学习更加刻苦用功。有一次，老师清早就要给同学们讲《尚书》，祖莹由于读了一夜没有睡觉，昏头昏脑地把另一个同学的一本《曲礼》当作《尚书》拿去上课。到了课堂才发现自己拿错了书，可是老师很严格，他不敢回去换书，只好硬着头皮听讲。这堂课刚好老师叫他读《尚书》。由于祖莹平时非常努力，早就会背《尚书》了，他虽然没带课本，可是凭自己的记忆，照样准确地把《尚书》背诵了三篇，一字不漏。
北魏当政人物很注意这个远近闻名的“圣小儿”，就选拔他去做“中书学生”。这使祖莹获得了更好的学习环境，加上他刻苦不懈地攻读，长大后终于成为一个很有知识的学者。他才华出众，远近闻名，很受当时皇帝的赏识，被任命为太学博士、殿中尚书、车骑大将军，并有文集流传于世。