由皇帝直接控制六军，由大司马或太尉掌管，编制按将军、司马、伍、卒设立武官，多以朝庭清重大员担任。同时分封宗室亲王或异性大族都督州镇要地，以图巩固中央集权统治。
官职以大将军为最，官位在三公之上。
其次为骠骑大将军、车骑将军、卫将军、左右前后将军，皆金印紫绶，官品次于九卿，职掌京师及边防事务。
凡加都督中外诸军事之衔者，为指挥全国军队的最高长官，代表皇帝掌握最高军权。
下设中军将军总统宿卫，左右卫将军统领宫殿禁军，领军、护军(初称中领军、中护军)等分领宫门及京师城内禁军，四护军统领城外诸军。
西晋增设四征（征东、征西、征南、征北）及四镇（镇东、镇西、镇南、镇北）将军。四征将军负责征剿、镇压，四镇将军负责地方安定。
“征东将军”统领青、兖、徐、扬四州军事，屯驻扬州。
“征南将军”统领荆、豫二州军事，屯驻新野。
“征西将军”统领雍、凉二州军事，屯驻长安。
“征北将军”统领幽、冀、并三州，屯驻蓟州。
此外，还有四平、四安等将军，以统分置于各地的外军。
杂系将军称谓有勇武、壮威、宣威、明威、定远、宁远、游骑、游击等，名目繁多。
“校尉”军职在各朝职权不同，两晋时期校尉地位较高，仅次于将军，司隶校尉（守卫京师军职，相当于现在的怀卫戍区司令）级别更高，已非一般军官之任。
另外掌管少数民族地区的沿边屯军将领亦称校尉，如乌桓校尉、西戊校尉、南蛮校尉等。
