苻融在冀州时，对崔玄伯十分敬重，奉为上宾，授任他为阳平公侍郎。每日政务繁多，玄伯处理得井井有条。前秦主苻坚要召崔玄伯做太子舍人，玄伯以母亲身体有病婉言辞谢。魏太祖征讨慕容宝，驻扎在常山，崔玄伯弃城远奔海滨。太祖听说玄伯有奇才贤德，爱才心切，马上命人轻骑追赶，请回军中大营，立刻召见。与崔玄伯纵论天下大事，果然满腹经纶，应对如流。任命他为黄门侍郎伴驾左右，为朝廷制定法令礼俗。太祖要重定国号，交有关机构议论。玄伯引经据典，建议以魏命国。太祖欣然同意，于是四方宾王进贡，都称“大魏”。后太祖任命玄伯为吏部尚书，他淡泊利禄，自己不经营产业，家徒四壁，清贫如洗。出门不乘车马，朝夕步行上下朝。老母七十高龄，每日也是粗茶淡饭。太祖派人秘密察访，果然不错。对他更加器重，优厚赏赐。有人讥笑玄伯自苦过分，他听后泰然处之。太祖驾崩，太宗尚未继位。清河王拓跋绍拿出大批钱财布帛馈赏朝臣，玄伯坚决不肯接受。太宗登朝，因玄伯拒受拓跋绍财物，对他非常敬重，屈尊登门看望，特别赏赐丝帛二百匹。
