上官桀原是汉武帝的一名卫士，力大无比。一次武帝乘车出行，雨急风大，车子难行，便将支撑在车上的车盖卸下来交给他。他双手擎起硕大无比的车盖，顶着狂风，追随在汉武帝的车旁，为武帝遮雨。武帝惊异于他的神力，便将他提升为掌管宫中御马的厩令。后来，年老的汉武帝病了一段时间，上官桀便对饲马之事懈怠下来。不久，武帝病愈回宫，见到御马全都瘦了，不由大怒道：“你莫非以为我不会再见到这些马了吗？”上官桀十分机敏，立刻伏地叩头道：“臣得知陛下圣体不安，日夜忧惧，哪里还有心思照料马！”边说还边挤出几滴泪水来，武帝以为他的确衷爱自己，不但没有降罪，反而将他升了官，成了朝中的九卿之一。武帝死时，又指定他为辅佐幼主的顾命大臣。
