王莽执政后期，豪强并起，农民起义如火如荼。汉室宗族刘秀为重建汉王朝，以河南南阳为根据地，招兵买马以发展自己的势力。当刘秀挫败王寻统领的王莽军经过颍阳时，县吏祭遵带着一批随从投奔刘秀。刘秀见他仪表非凡，委任为门下吏。刘秀以刘玄政权的大司马身份出征河北，祭遵亦升为督察军纪的军市令。一次，大司马府中的一位青年人违犯军纪，依法当斩。于是，祭遵不以自己官职卑微，也不顾这位年轻人乃刘秀的眷属，依法将他处决了。刘秀听罢大怒，将祭遵逮捕下狱。主簿陈副认为祭遵做得对，便要刘秀赦免他。陈副说：“明公常欲众军整齐，今祭遵奉法不避，是教令所行也。”陈副这一席话，使刘秀恍然大悟，他原谅了祭遵，并提升官职，号为“刺奸将军”，意为专门除暴去恶的将军。刘秀对众将说：“当备祭遵，吾舍中儿犯法尚杀之，必不私诸卿也。”不久，祭遵右迁为偏将军，并以平河北的战功封列侯。
