王僧虔出身于官宦世家,曾任持节、都督湘州诸军事、征南将军、湘州刺史、侍中等职。他经历南朝宋、齐两代,处事谨慎。王僧虔擅长于书法,齐高帝萧道成也爱好书法。一次,萧道成与王僧虔比谁的字写得好。字写完后,萧道成问王僧虔:“谁为第一?”王僧虔说:“臣书第一,陛下亦第一。”萧道成听后大笑,说王僧虔“善自为谋”。萧道成死后,其子萧赜继位,提王僧虔为侍中、左光禄大夫,开府仪同三司。当时,王僧虔的侄子王俭也在朝中任高官,王僧虔便对王俭说:“你在朝中官高任重,我如果再受任,则一门之内有二台司,实可畏惧。”便坚辞不受。萧赜无法,只得取消任命,改任王僧虔为侍中、特进、左光禄大夫。有人对此很不理解,王僧虔说:“君子所应担忧的是不能立德,而不担心不被宠爱。我现在衣食俱足,荣位已过,常为庸碌不能报国而惭愧。怎能再受高官,庸碌无为被人耻笑?”