清朝经制之兵本来只有八旗、绿营两个体系，八旗是清太祖努尔哈赤创立的，以部队制度为基础的，兼有政治、经济、社会等职能的军事组织。起初，努尔哈赤亲率一旗，其他七旗均以亲王为旗主分别统辖。清军入关后，政治制度由部落首领制开始向中原王朝的中央集权制转化，为了削弱其他皇族成员的势力，提高皇帝的权威，改由皇帝亲自统帅镶黄旗、正黄旗和正白旗，以此上三旗的精兵威慑其他旗主。到雍正时干脆褫夺了属于亲王的指挥权，由皇帝派出亲信将领统率其他五旗。从此，八旗兵权完全归于皇帝控制。八旗虽然完全归皇帝控制，但其士兵以满族为主，补充以清军入关前即已“从龙”的蒙、汉各族士兵，兵员极其有限，是清王朝最后的保命资本，在中原平定后轻易不出战。越不出战，就越缺乏战斗力，甚至在清朝前期，康熙年间，八旗部队已经腐败，不堪征战重任，康熙帝用以讨平吴三桂叛乱的军队主力是绿营兵。
绿营士兵都是汉族，在清军入关时投降的汉奸军的基础上发展而来。绿营士兵遍入兵籍，隶属兵部，世代承袭，是职业兵种。清廷为了防止绿营汉兵造反，对绿营兵采取严格控制：绿营兵的军政权统一归于兵部，以便将指挥大权集中在中央；军队节制权和局部调遣权“分寄”于各地督抚，以防“悍将跋扈”；有了突发事件，皇帝临时派钦差大臣统辖，以利于统一调度。这样就形成了一个由兵部、督抚、钦差、提镇等相互牵制的复杂的控制系统，从而把绿营兵权高度集中在皇帝手中。绿营兵分驻各地“治民”，编制很混乱，士兵数量也没有定制，战时临时抽调拼凑成军，再胡乱封一个营官出征，战斗力比较低，而且很难组建成较大的兵团。在乾隆后期，绿营兵战斗力也和八旗部队一样，无可挽回地衰落了。清朝在讨伐白莲教起义时，不得不又另创出“团练”这一种基层武装辅助战斗。“团练”分为“团勇”与“练勇”两种形式，与农村的保甲制度紧密相连。“团勇”是业余武装，各家出壮丁，修筑城池和哨卡，守备地方，也为正规军助阵。“练勇”是专业武装，由地方绅士和下层官吏联合招募“四方精锐”编训，或二百，或三四百，于城内设一总局，由地方上有军事经验的人负责日事训练和管理，是国家的预备役武装。按照团练自保的组织原则，清官方规定，团勇（或称团丁）源于保甲：“团总责之甲长，甲长责之牌长”，牌长责每户二丁抽一，“如一户二人，责其身体壮大、心性诚实者一人为壮丁”，不得以无用之人充数，亦不得雇佣游手无赖之人顶替。
“团练”在镇压白莲教起义中起到很大作用，甚至在川陕一代成为镇压白莲教武装的主力。白莲教善于流窜，战斗力不强，遍地的团练掐住了白莲教武装的脖子，割断其与地方群众的联系，使其无法四处机动和寻求补给，在层层的阻击中消磨锐气，最后被少数的精锐清兵一举击破。太平天国起事以后，各路清军防线纷纷崩溃，周天爵更说太平军“举世大帅无可匹敌”，八旗和绿营眼看是敌不住太平军了，清廷于是又想起了镇压白莲教的团练政策来，一口气任命了四十五位团练大臣，办团练助剿太平天国。
太平天国的武装和白莲教已经有了很大的不同，太平军是一支有组织有纪律的部队，在战略和战术上很有一套，与四下流窜，各自为战的白莲教武装简直是天壤之别。最重要的是，太平军是一支有主义的军队，分散在各村落的业余武装“团练”根本不是太平军的对手。这个时候，清廷需要的，是一支和太平军一样有主义的新军。
要建立新军，先要的是一个有理想和主义的军官团，这个军官团在当时湖南已经基本形成。湖南经世派士人在汤鹏、陶澍、贺长龄、贺熙龄的指引下养成了很大的势力，这些有着共同信仰和共同理想的读书人，依靠同乡关系、师生关系、姻亲关系紧密地联系在一起，形成了一个从朝野到民间的人才群体，由于湖南人特有的“抱团”的性格，使得这个群体特别有凝聚力。因此，在湘军兴起之前，组成未来湘军军官团的湖南经世派书生，已经组成了一种基于共同政治倾向的组织上的联系，一个以曾国藩、罗泽南为中心的湖南经世派士人圈子。他们包括曾国藩、刘蓉、罗泽南、郭嵩焘、江忠源、王鑫、欧阳兆熊以及左宗棠等。这批人在太平天国兴起之前，就以研求经世之学、标榜匡世济民而在湖南小有名气，彼此间书信往来，形成了一种较为亲密的关系。对湖南士人来说，身为京官、有名望的曾国藩是他们发表政见、影响政治的媒介，也是他们走向仕途的引路人，比如江忠源就依靠曾国藩的引荐而朝野知名；对曾国藩来说，这一批与其同气连枝的家乡士人，既是他可以利用的智囊团，又是他在家乡赢得声名的途径。“他们彼此间都有各种功利的、现实的需要。更重要的是，他们都有在社会变乱的王朝末期澄清天下、实现经邦治国的经世之志的理想，也就是有一种强烈的追求功利或建立勋业的欲望”。所以，在湘军建立之前，这一士人群体就聚集在曾国藩周围，形成了一个虽不能影响朝政、却有着巨大发展潜力的政治势力集团。湖南士人则不断为曾国藩鼓气，希望他能“言人所不能言、不敢言者”，通过他去影响朝政。曾国藩本人在这一时期，每有奏折，也往往“录往一通”寄给湖南士子，以表“国藩忝窃高位，不敢旨韦取容以重负故人之期望”之心。湘军统帅们在太平天国起事之前在政治上就有着深厚的联系，有一定的私人交情，正是这种联系和交情，成为了他们日后建立湘军的基础，这与洪秀全组建拜上帝教差不多同一时间段。
完全的依靠政治信仰来维系的政治团体是不牢固的，湖南人特别浓烈的乡土情怀和相对落后的社会组织在这时候发挥了相当重要的作用。这些经世派读书人，除了政治上的认同外，还积极地通过拜师、联姻来拉近关系，组建一个层层密密的关系网。这种关系最主要的是师生关系，比如罗泽南的部将李续宾、李续宜、王鑫、蒋益澧、刘腾鸿等人，都是他的学生。再如江忠源之于曾国藩，本来江忠源对曾国藩的理学说教并不满意，江忠源在行伍打仗上也比曾国藩更有经验，但为了政治的需要，也认为师生。其他如曾国藩认李鸿章、彭玉麟、李元度和鲍超为门生，胡林翼拜罗泽南为老师，都同属此类。还有一种比较重要的联谊形势是姻亲，左宗棠和胡林翼是姻亲，胡林翼与罗泽南是亲家，罗又与曾国藩是亲家，而曾又与郭嵩焘、李续宜、李元度都是亲家。这样，湘省经世派就形成了以同乡、同学、师生、亲友为联系纽带的群体。从政治上来说，彼此目的一致；从个人关系来说，大家利益攸关。这种联系，等于一个可以与拜上帝教组织相抗衡的政治团体成熟。
有了程朱理学作为主义，经世派学问为方略，再有了一个庞大的人才团体，新军的成立已是呼之欲出。但清廷此时并没有成立新军的想法，清廷似乎也不愿意让汉人掌握一支像湘军那样不受控制的武装，重要的是，湖南的经世派此时并没有一个在朝中握有军政实权的人物，即使要成立新军，似乎也轮不到“郡县以来，未尝先天下”的湖南人来办。另外一个重要的问题是，要办新军，又采取什么形式呢？
这层铁幕，自然由江忠源来打破，江忠源的办法是，朝廷不让办新军，那就把“练勇”组成大规模的“勇营”，营官自筹粮饷，朝廷只提供象征性的财政支持，营官按自己的意图训练“勇营”打仗。江忠源镇压李沅发起义时，以亲族子弟为主，创办了一支三百余人的“楚勇”，“楚勇”经费大部分由江忠源自筹，朝廷给予少量援助，基本上等于江忠源的私兵。江忠源以其天才，先在永安等地连创太平军，后更在蓑衣渡对太平军造成毁灭性打击，“楚勇”从此天下闻名，朝野上下都从此看好湖南地方武装，这无疑给了湖南经世派创办新式武装一个很好的基础。
江忠源在与太平天国的战争中，清楚地看到太平军的长处和清朝军制的弊端，关于这些问题的思索，大多体现在其《条陈练兵疏》的著作中，基本上湘军的整个建军思路，都在江忠源的这份奏折中成型，曾国藩后来不过是照抄和填补细枝末节。江忠源的思想，简单来说就是“以勇代兵”。他认为绿营的弊端，在于各不相救和赏罚不明，只有裁汰这些完全无用的冗兵，以练勇代替，才有胜利的希望。
江忠源希望能练勇三千，再选调绿营精兵六千，与楚勇凑足一万人，以备讨伐太平军之用。江忠源一直没有这个练兵的机会，他一直在镇压太平天国的前线疲于奔命，手下兵将甚少，处于处处挨打的局面，没有时间和地盘按自己的思想练兵，所有这些想法，无异一纸空文。一直到清廷给予曾国藩团练大臣的任命，湘军的组建才有了可能。
据《湘军志》说，“楚军起于江忠源，其时以三百人从乌兰泰，不能成营制。后忠源官尊师众，第从先廓之，而法制不改。曾国藩既请练军长沙，奋然以召募易行伍，尽废官兵，使儒生领农民，各自成营”。 江忠源的“楚勇”虽然已经具备湘军质直坚朴的风气，但仍然是一只“尚剽锐，营制疏略”，战斗力不稳定的半职业兵，战斗力很大程度上取决于将领的个人魅力。曾国藩要建立的湘军，是一只旧时代的职业兵种，要有严密的营规，使得部队的战斗力稳定。因为罗泽南和弟子李续宾等在湘乡练勇，名声很大，曾国藩调罗泽南、王錱等人的部队千人到长沙，作为湘军的基干，开始扩军，最终练成湘军万人。
