在原始社会早期，人是不穿衣服的，随着社会的发展，人们开始穿起了衣服，并逐步形成了带有标志性的服装。《易经·系辞》称“黄帝尧舜垂衣裳而天下治”，就是说穿衣服是分尊卑等级的，帝王冕旒、九品顶戴，以至各级衙门里的衙役装等，都要安分遵守各自的等级不能乱穿衣服，这就奠定了职业装的基本风格。
到了奴隶社会，衣冠服饰更成了统治阶级“昭名分、辨等威”的参照物，那时已经产生了比较完整的衣冠制度，自天子至大夫到士卿，什么等级的人着什么样的服饰都是有规定的。
到了汉代，因职业不同，衣冠服饰也有区别。《后汉书·舆服志》中写道：“倘书帻收，方三寸，名日纳言，示以忠正，显近职也。”它说明了服饰与职业的关系。
汉代以后，衣冠制度已日趋完善，如南北朝时，皇帝的服饰“衣画裳绣，皂上降下”；皇后的服饰“皆以蚕衣为朝服”；王公贵族则“服无定色，冠缀紫标，标以缯为之”；而八品以下的官员是不能穿罗、纨、绮等这些高级丝织品的。在其他方面服装也早已成为某种职业人士的代表或标志，比如儒生的长衫，武将的铠甲等。
据宋代孟元老的《东京梦华录》记载：“其卖药卖卦，皆具冠带。至于乞丐者，亦有规格，稍似懈怠，众所不容。”就是说商人都有自己的职业装，甚至连乞丐也有自己的职业装。
元朝的朝廷还规定：“娼妓穿着紫皂衫子，戴角冠儿。娼妓之家长并亲属男子裹青头巾。”因为青和绿二色比较接近，人们习惯叫“绿头巾”。青头巾也罢，绿头巾也罢，在古代都是贱色，是从事农业生产的社会最低层的农民穿着的，元、明时期，官府就规定农家男子只能着绿巾，以示等级低。所以，青头巾和绿头巾就经常用来代指从事低贱职业的人。
到了明朝嘉靖年间，郎瑛在《七修类稿》中写道：“吴人（苏州）淫行者为绿头巾。”从此，“绿头巾”就专门用来指妻子有不贞行为的男人，演变到后来成了“绿帽子”。再到后来，由于乌龟盖子同“绿帽子”一色，人们又把戴绿帽子的男人叫做“王八”。
正因为不同社会地位的人都有自己的职业装，所以就有了“只认衣冠不认人”等俗语的出现，也形成了中国古代用特定服饰来代称的社会地位及官职。