早在东晋成帝时，凡在都城建康（南京）宫中做事的人，均戴一种用黑纱做的帽子，人称“乌纱帽”。到了南北朝宋明帝时，这种帽子在民间流传开来。于是，“乌纱帽”遂成为民间百姓常戴的一种便帽。隋唐时，全国上下不论地位尊卑，都可以戴乌纱帽。但为适应封建社会的等级制度，隋朝用乌纱帽上的玉饰多少显示官职大小：一品有九块，二品有八块，三品有七块，四品有六块，五品有五块，六品以下就不准装玉饰了。
宋太祖赵匡胤登基后，为防止议事时朝臣交头接耳，就下诏书改变乌纱帽的样式：在乌纱帽的两边各加一个翅，这样只要脑袋一动，软翅就忽悠忽悠颤动，皇上居高临下，能看得清清楚楚；同时在乌纱帽上装饰不同的花纹，以区别官位的高低。明代开国皇帝朱元璋定都南京后，于洪武三年（1370年）做出规定：凡文武百官上朝和办公时，一律要戴乌纱帽，穿圆领衫，束腰带。另外，取得功名而未授官职的状元、进士，也可戴乌纱帽。
从此，“乌纱帽”遂成为官员的一种特有标志。到了清代，官员的乌纱帽被换成红缨帽。但至今人们仍习惯将“乌纱帽”作为官员的标志，“丢掉乌纱帽”就意味着削职为民了。