我国古代早期，掌管军事的官职叫司马。那时国家军队数量并不多，天子只有六军（每军1.25万人），诸侯最多不超过三军。各军的统帅叫卿，卿以下叫大夫（师），大夫以下叫士。到了春秋时期，诸侯为了扩大势力范围，不断增加兵力，因此，大国诸侯常常拥有三军以上的兵力，但编制上只有三军，只能设三卿，于是就把扩充军的统帅称作“将军”，意为将领一军。以后军队数量越来越多，将军也就越来越多了。
作战时军队由一人统率，因此，在将军中选拔出“大将军”或“上将军”来负责全盘指挥。到了汉代，军队数量更多，单设一位“大将军”也管不过来了，于是又出现了“骠骑将军”“车骑将军”“卫将军”等级别。以后，各朝将军的名称虽不尽相同，但将军分成许多级别这一原则却是相同的。