朱元璋在建明战争和明初统一战争的过程中，十分重视军队统兵机构的建设和军队编制、体制的完善。在渡江取采石、太平后，就相继建立翼元帅府、枢密院（后改大都督府）等统兵机构，以保持对军队的统一指挥。至正二十四年（1364年），颁布部伍法，以确定军队基层单位的编制。此外还建立民兵万户府，训练民间武勇，以为主力军的补充。这些措施的实施，使朱元璋的军队在建明战争过程中，逐渐成为一支指挥系统较为畅通，编制、体制较为合理，战斗力较为强大的军队，完成了推翻元朝的任务。
明朝建立后，朱元璋既要使军队成为保卫国家安全和巩固明王朝统治的工具，又要防止军队落在权臣之手，成为以军乱政或割据一方、危迫朝廷的祸害。为此他决定以中央集权的制度，设置中央军事机构，编制全国军队，使全国的武装力量，都统辖于朝廷，听命于皇帝。
另一方面，朱元璋鉴于经过元末丧乱，社会生产力遭到严重破坏的现实，决定采取兵农兼资、耕战结合的组织形式编制军队，以减少国家养兵的财政支出和减轻人民对巨额军饷的负担。于是他同刘基等人研究历代兵制的优劣，总结历史的经验教训，认为：既往实行的征兵制，其优越性在于能使全国皆兵，遇有战事，即可征集出战，事定归农，兵员的来源有保证，素质良好，且可减少平时的军费开支，但是其缺点是兵员都出自农村，遇有长期战争，便会影响农业生产；既往实行的募兵制，其优越性在于应募者多为无业游民，入伍后便成为职业兵，训练时间较长，作战能力较强，兵员的数量和服役的年限不受农业生产的限制，但是其缺点是平时养兵过多，军费负担较大，兵员的来历不明，素质较差，没有家庭牵制，容易逃亡和叛变。所以朱元璋决定采用能吸取二者之长，避免二者之短的卫所制形式，编制全国军队。
在上述指导思想下，明初军队实行了由皇帝集权的，以兵部和都督府分权互制的中央军事机构，同以都司卫所和兵农寓为一体的地方部队相结合的编制体制。在当时，这种编制体制既符合加强中央集权制政权的需要，又适应国家的实际情况，因此是行之有效的。
