文禽武兽的传统并非是从明朝开始的。只是说明朝开始把这种装饰制度化了。《旧唐书·舆服志》延载元年五月，则天内出绯紫单罗铭襟背衫，赐文武三品已上。左右监门卫将军等饰以对师子，左右卫饰以麒麟，左右武威卫饰以对虎，左右豹韬卫饰以豹，左右鹰扬卫饰以鹰，左右玉钤卫饰以对鹘，左右金吾卫饰以对豸，诸王饰以盘龙及鹿，宰相饰以凤池，尚书饰以对雁。问题是，这种装饰只是装饰在官服上（补子），而不会装饰在帽子上。
试想大将军戴个虎头帽上朝，这画面太美……
所以说“衣冠禽兽”是夸人的话，实在是太牵强。明明这句话就是骂人是：“穿着衣和冠的禽兽”，和“沐猴而冠”是一个意思。查看语料库，能找到的最早的语料是明代万历年间，陈汝元的 《金莲记·构衅》：人人駡我做衣冠禽兽，箇箇识我是文物穿窬。这句是夸是骂，不用解释吧？ 未发现任何语料中有夸奖的用法。补充@jowtte 老师的答案。
“禽兽”是汉语里一个非常常见的词，经常被拿来指人。比如《左传·襄公四年》：“戎，禽兽也，获戎失华，无乃不可乎？”又如《孟子·滕文公下》：“杨氏为我，是无君也；墨氏兼爱，是无父也。无父无君，是禽兽也。”再如《史记·三王世家》：“荤粥氏无有孝行而禽兽心，以窃盗侵犯边民。”这些都是古代知识分子非常熟悉的文献，所以逻辑上看产生一个包含“禽兽”二字的褒义词的概率就很小。
事实上，在历朝语料里，“禽兽”指人都不是什么好话。以明代为例，我们很熟悉的《水浒传》第三十三回 《宋江夜看小鳌山 花荣大闹清风寨》记花荣对着宋江骂刘知寨：“小弟是个武官副知寨，每每被这厮呕气，恨不得杀了这滥污贼禽兽！”“衣冠禽兽”这个词产生于明代后期，在语料中出现过很多次，无一例外也都是显而易见的骂人的话。
所以，各位如果一不小心穿越到明代，可千万不要听信后人的谣言，奉承当官的为“衣冠禽兽”，不然后果一定很可怕的。万一穿越过去，这是性命攸关的大事，切记，切记。