中国古代的军事制度，可上溯至上古三代。从夏商周到春秋时期，军政不分，军制以车战为主，以"师"为作战单位。到了战国，随着战争方式由车战为主向步战为主的转变，军事领导体制产生了相应变化，普遍实行了将、相分权制度，统率军队的长官称将、将军、上将军、大将军。秦称大良造，秦王嬴政时又设国尉为武官之长，楚国武官之长称柱国、上柱国。
战国时期将以下的武官设置也比较完备了，赵国设左司马、都尉，齐国设司马。秦、齐、楚设郎中，各诸侯国都普遍设都尉负责卫戍之职，秦国又有中尉一职，负责警卫国都。
战国时期，军队领导体制的基本特征是各诸侯国都建立了统一的军队，国君成为军队的最高统帅。军权高度集中，国君独揽军队组建、调动、征伐的权限。"虎符"制度就是军权集中的主要体现。各国普遍实行征兵制，以郡县为单位征集兵员，男子服兵役的年龄，大约从15 岁到60岁。有些诸侯国采用招募、考选勇士的办法作为组建军队的一种方式，如魏国的"武卒"、齐国的"技击"、秦国的"锐士"等。这种招募兵员的方法可视为募兵制的开端。
战国时车兵的地位较之春秋时虽大为降低，但还是军队中的重要组成部分，步兵替代车兵成为当时各国军队中的主力兵种。骑兵开始发展为独立的兵种，自赵武灵王"胡服骑射"建立强大的骑兵以来，各诸侯国均重视骑兵建设，骑兵遂成为军队中的重要兵种。
战国时期，各诸侯国普遍建立了常备兵。为使军队拥有强大的战斗力，各国都普遍抓紧了对军队的严格训练，执行严肃的军纪。为此，各国都建立了军队中的赏罚制度。如秦国制定军功爵20级，规定不分贵贱，按军功大小实行奖赏。《商君书·境内》称："能攻城围邑，斩首八千以上，则盈论；野战，斩首三千，则盈论。吏自操及校以上大将尽赏。"凡"盈论" 者，基本方法是按20等爵递升。士卒畏战退却，要处以黥、劓刑。总之，战国的军事法规，已相当完善，在维护战场纪律，军队内部连保制度，军营内部的警戒，各级军官的权限，战斗编组及军旗、徽章的使用，指挥号令的实施等方面，都有具体而严格的规定，表明当时的军事制度已经相当完备。
秦朝是中国历史上第一个统一的专制集权国家，此时创立的中央集权军事领导体制对后世产生了极大影响。
秦统一以后首创皇帝制，皇帝执掌全国最高的军事权力。全国各地军队的调发，将帅兵权的授予都必须以皇帝发给的虎符为信物。兵符以铜铸成虎形，背刻铭文，分为两半，一半留在皇帝手中，一半发给统兵将帅。任何军队的调发，须由皇帝所遣使臣持符验合，方能生效。
中央最高军事职官称太尉。统一前，太尉又称尉或国尉，地位次于大良造。大良造被撤消后，太尉升为武官之长，位列"三公"。太尉有统兵权，但无调兵权。国家发兵时，皇帝则指派将军统兵。中央集权的军事领导体制是与郡县制的行政体制相适应的。在郡、县、乡均有专职主管军政的职官，郡设郡尉，负责兵员征集、调遣和武器装备的制造、保管以及地方治安等；县设县尉，掌一县之军政；乡设游徼，管军政及治安。
秦朝的车兵依然在作战中担负着重要任务。进攻时，车兵冲锋陷阵，破坏敌军战斗队形；防御时，以战车布成阵垒，阻滞敌军的冲击。车兵的编制基本上沿袭战国时制度，一般可分为御手、乘车战士和车属步兵三部分。
步兵是秦军的主要兵种，称为"材官"。有轻装步兵与重装步兵之分。轻装步兵不穿铠甲，行动灵活，战时以弓弩杀伤远距离敌人。重装步兵身着铠甲，待与敌人接近时，以戈、矛、钺、殳等兵器与敌格斗。这种区分，是由武器装备和战斗需要决定的，在军制史上是一大进步。
秦军作战时多以车、步、骑诸兵种混合编队，协同战斗，既可发挥各种兵器特长，又能弥补各兵种的缺点。从秦始皇陵兵马俑坑出土的情况看，在一个数千人组成的军阵中，有执矛持钺的步兵，有驾驭战车的车兵，也有策马而立的骑兵。诸兵种各司其职，默契配合。
秦朝实行普遍征兵制，凡适龄男子都必须在专门的名册登记，并开始服徭役，当时称此为" 傅籍"。"傅籍"年龄从17岁开始，至60岁为止(有爵位者止于56岁)。"傅籍"者一律服兵役二年，一年在本郡，一年去京师或边疆，统称"正卒"；每一成年男子，除二年兵役外，还需在本郡县服役一个月，担负修筑城垣、道路及运输等任务，到期更换，故称"更卒"。这种全国性按年龄征发的普遍征兵制，对后代影响很大。
西汉军事制度既继承了秦代制度又有创新。皇帝仍是最高军事统帅，他通过直接操纵的两大中央军事领导机构控制全军。这两大机构是：由郎中令、卫尉、中尉等组成的中央警卫机构；由太尉、将军、将、尉等组成的全国最高军事行政机构。
中央警卫部队可分为宫廷警卫与京城警卫。宫廷警卫称南军，由郎中令(光禄勋)负责，卫尉统领；京城警卫称北军，由中尉(执金吾)负责，担任宫殿之外京城之内的日常警备。为有效地控制全军，皇帝在中央设置了以太尉为首的军事领导机构。太尉名义上是最高军事长官，但实际只负责军事行政，并无发兵、统兵之权。汉武帝时，设置了大将军一职，逐渐取代太尉而执掌军权，甚至超越了丞相的权限。但武帝后时置时罢，其实际地位的高下也因人而异。
西汉地方行政体制是郡县制。长官称太守，次官称都尉，太守总管军民诸政，都尉分治军事。后者具体负责郡内一切军事行动，直接统率地方部队，权力很重。县级军事领导机构与郡级相类似，县令主管一切军政事务，县尉分管军事，职责主要是抓捕盗贼，负责境内警备，对于县令有一定的独立性。乡设游徼，乡以下有亭，设亭长，是地方军事的基层组织。
从汉武帝始，中央对降附或内属的少数民族，均设属国以处之。属国都尉是属国最高长官，以武职兼理民事，为汉代军事体制的又一特征。为加强对属国及边疆地区的军事控制，中央还派去一些临时的武官，称"持节都护"，如西域都护、护羌校尉等，地位相当于内地的太守，构成汉代一种独特的地方军事领导机构，同时也是中央政府对边疆地区进行控制的特殊措施。
西汉兵役与劳役不分，统称"徭役"。成年男子均需服徭役，先是在本郡当一年"车骑材官卒"，即郡国兵，进行军事训练，获得必要的军事技能，然后回乡务农，成为国家的预备兵；以后再根据实际需要，或当一年"戍卒"，即在边防军服役一年，或当一年"卫卒"，即在京城警备部队服役。结束后每年还需在本地服劳役一月，称"更卒"，任务是修营垒、做烽燧、建宫室、陵墓，修河堤，运输等等。
汉武帝前，车、骑并重，之后，骑兵取代车兵，成为汉军的主力兵种。汉匈战争的几大战役，骑兵发挥了重要的作用，使中国古代骑兵完成了向战略军种的转变，成为战争的主力。
汉军的编制是部曲制，在领兵将军之下设部、曲、屯、队、什、伍的组织系统。部是汉军中的最高一级编制，部的主管军官称校尉，官秩同于太守，出征作战时受领兵将军指挥。曲隶属于部，长官叫军侯，地位相当于县令。屯置屯长，队设队率，什伍是军中最基层组织。这套军事组织体制常年设置，战时则由朝廷任命将军予以统帅，出征讨伐。
隋唐军事制度最有特点。盛唐的赫赫军威，很大程度上得益于完善的、运行良好的军事体制。唐朝军权集中于中央，由皇帝亲自掌握。尚书省下辖的兵部，为国家日常军务统理机构，其长官为兵部尚书。贞观十年(636年)，对北朝以来的府兵制度进行重大调整：府兵为国家基本的常备军，平时隶属于十二卫和太子东宫六率，其中左右卫领60个军府，诸卫领40-50个军府，其余隶属东宫六率。每卫设大将军一人，将军二人，每率设率一人，副率二人。平时负责管理府兵轮番宿卫诸事，战时经皇帝任命，率领从各府调集的府兵出征。"若四方有事，则命将以出，事解辄罢。兵散于府，将归于朝。"(《新唐书·兵志》)重大军机要事由政事堂举行的宰相会议辅佐皇帝商决，兵部负责武官的考核、任免，军队的编制及轮换、甲仗、厩牧、图籍等事务。
府又称军府，是唐朝中期以前基本军事单位，其寓兵于农、兵农合一的构思向来为人们所称道。太宗时，军府又名折冲府，兵员达1200人为上府，1000人为中府，800人为下府。每府置长官折冲都尉一人，副长官左、右果毅都尉各一人。全国最多时共设634府，兵员达60万人，主要分布于作为政治中心的关中、陇右、中原等地。
府兵的来源，主要从自耕农和地主中挑选，也有贫民。按规定，三年一简，凡20岁以上成年男子，都是简选对象。简选标准以资财、材力、丁口三者为据，财产相当者取富，力量相当者取强，财、力均相当者取丁口多者。一经加入府兵，要到60岁方解除兵役。府兵本人免租庸调，但家人没有减免优待。盛唐以后，征战日多，赏赐多不兑现，军人社会地位下降，有财产者厌恶服役、特别是土地兼并严重，均田制破坏，军资无所依靠，府兵制逐渐为募兵制所替代。玄宗开元十年(722年)，开始大规模募兵。募兵已具有雇佣兵性质，兵员素质低下，战时一触即溃，平时横行市井。军费开支因募兵制的施行而转嫁于民间，使社会负担日重。募兵制度既是唐由盛转衰的原因之一，也是中国传统社会后期尚武精神隳丧的根源。
盛唐时期，在边疆地区建立了节度使制度，统辖边境野战军队。其兵员已经职业化，且以骑兵为主，军力强盛。但极易于被长期握兵的将帅所利用，最后引发了安史之乱。
宋代，皇帝直接掌握军队的建置、调动和指挥大权，其下兵权三分：枢密院为最高军政机关，负责战略决策、处理日常事务，招募、调遣军队，长官称枢密使。三衙分掌全国军队的最高指挥权力，其全名是殿前都指挥使司、侍卫亲军马军都指挥使司、侍卫亲军步军都指挥使司。各设都指挥使为长官，地位低于枢密院。枢密院与三衙分握发兵权和管兵权，互相牵制。帅臣尽管平时有所统辖部队，但战时由皇帝临时派遣，率兵出征，事定之后，兵归三衙。宋人自己说："祖宗制兵之法，天下之兵，本于枢密，有发兵之权，而无握兵之重；京师之兵总于三帅，有握兵之重，而无发兵之权。上下相维，不得专制，此所以百三十余年无兵变也。"(《宋史·职官二》)这种制度对削弱唐藩镇割据以来的兵祸，保障社会安定确有贡献，但同时也造成了互相掣肘、效率低下的弊端。
宋朝的军队有三种：禁兵、厢兵和乡兵，边境地区又有蕃兵。禁兵是国家的正规军，任务是守备京师，担任征战和屯戍边郡、地方的任务。厢兵是地方军队，实际上是一支专任劳役的队伍，它分属各州和某些中央机构，担负筑城、修路、运输等任务，多不训练。乡兵即民兵，是非正规的地方武装，但有些区域内的乡兵反而因保境卫土而有较强的战斗力。
宋朝的禁兵、厢兵都实行募兵制，"亢健者"选入禁兵，"短弱者"选入厢兵。应募后，家属可以随营，本人须黥面涅臂为标志，中途不得退役，实则终身服役。兵员空缺则从子弟中补选，如逃亡或犯罪，惩罚极重。每遇凶年饥岁，就大量招募破产农民，从而形成宋朝冗兵冗费的局面，而且往往收编盗贼为兵，在兵源缺乏时甚至罪犯也成为来源之一，军队的素质大为降低。
明朝的军事制度颇具独创性。军队的编制采用卫所制。在皇帝独揽军政大权的基础上，全国各要地设立卫所。一州设所，数州设卫，一卫约有5600人。所分千户所与百户所，各隶千余人与百余人。全国的军队均按此制度编入卫所，每个卫所官兵又分别隶属于所在地方的都指挥使司，都指挥使司隶属于中央五军(中、左、右、前、后)都督府。都督府是最高军事机关，掌管全国的卫所军籍。但征讨、镇戍、训练等则听命于兵部。遇有战事，兵部奉皇帝旨意调军，任命领兵官，率领从卫所调发的军队出征。战争结束，领兵官归朝廷述职，军队散归各卫所。这种制度，保证了统军权与调军权的分离，防止大将专权作乱，保证皇帝与朝廷(中央) 对全国军队的控制。
明军分为京军、地方军、边兵三大部分。京军为全国军队的精锐，平时宿卫京师，战时为征战的主力。明成祖时，京军有72卫，并正式成立了五军、三千、神机三大营。平时，五军营专习阵法，三千营主巡逻，神机营掌火器(图13)。地方军为各地的卫军，配置于内地各军事重镇。边兵配置于东起鸭绿江、西抵嘉峪关的九个军镇，称"九边"，各设总兵官管辖。另外还有民兵，为军籍之外维持地方治安的武装。
卫所兵源来自世兵制，卫所军士和武官均为世袭，一入军籍，称为军户，属都督府管辖，不受地方行政长官的约束，父死子继，世代从军。他们社会地位低下，常常与罪犯为伍，素质低下，逃亡不断。因而，明中期以后又实行募兵制，召募士兵逐渐成为军队主力，但募兵制养兵耗费巨大，国库日绌，终致国力耗竭。
清代前期，中央设军机处，掌军政大事，承皇帝旨意办理。军队由八旗兵和绿营兵组成。八旗以正黄、镶黄、正白、镶白、正红、镶红、正蓝、镶蓝八种旗帜为标志。"旗"本为满族"兵民合一"的社会组织，兼有军事、政治、经济等方面的职能。八旗各有旗主，皆为世袭。清太宗又增设蒙古八旗和汉军八旗。统一全国后，八旗成为完全不事生产的军政组织，直属于国家而不再属于旗主，又分为京营八旗(由正黄、正白、镶黄三旗担任)和驻防八旗，后者分驻全国要冲，作为震慑地方的武力。绿营兵是参照明朝卫所制度召募的汉兵，以绿旗为标志，以营为基础建制单位，有骑兵、步兵、守兵之分。将官由兵部选任，每省均有绿营数镇，主将称总兵，总兵之上设有提督，节制一省或数省各镇总兵，巡抚、总督又有统率提督之权力。
满洲八旗以骑射为长，在平川旷野冲锋陷阵本其所长；而汉军八旗善用火器，在围城攻坚和水上作战中屡建奇功。然而，因八旗兵为清王朝的建立和巩固立下汗马功劳，故而清朝采取了优待满洲八旗的政策，在各方面均给予特殊照顾。八旗兵逐渐斗志消沉，自康熙平三藩之乱开始，八旗对绿营的依赖日益严重，其战略的主力地位也为绿营所取代