曾国藩看中了塔齐布，除了他踏实肯干，勤劳淳朴之外还有他镶黄旗的身份，有了塔齐布曾国藩就可以淡化朝廷对他的防范猜忌，起到“借满释疑”的作用。曾国藩花了好一番心思后，终于把塔齐布挖来给他干湘军总教练，负责训练新兵。
为了更好的笼络此人，曾国藩还在皇帝那边极力举荐塔齐布，以自己的政治生命做担保，保举塔齐布做了三品参将。这个举动让塔齐布感恩戴德，这等于对皇帝说，如果以后塔齐布出了任何事，他作为保举人，一起负连带责任，清廷的官场上，如果不是特别欣赏或者是极其亲密的关系，这样的保举是很少见的。
有了塔齐布这样的政治挡箭牌，曾国藩把他的湘军人数又翻了几番，不但组建了十三个陆营，而且在衡阳组建了水师。因为江忠源和他说过，要想在长江上打败太平军，强大的水师绝对不可缺少。
善于识别人才的曾国藩又相中了弃文从武的彭玉麒，这个彭玉麒是个秀才，水性极好，人称“混江龙”。他为人清高，不肯和官场之人同流合污，每每遇到上司的刁难，就辞官不做。他性情高洁，又有儒将气质，很受曾国藩看重。
曾国藩组建了两个造船厂，同时托人从广东采购洋炮装备水师，交给彭玉麒打理。
于是湘军成为了拥有水陆两军的一支强大武装，人多了，紧靠曾国藩那些初始资金是根本维持不了的，不过聪明的曾国藩想到了一条路子。他磨破嘴皮子，让已经不肯掏钱的湖南巡抚同意他在湖南收取厘金用作军资，这厘金就相当于现在的过路费，曾国藩让人在一些桥梁，山口之类的必经之路设置关卡，收取来往两地商人的过路费。
这可是一笔非常大的资金，当时很多人还没有意识到这一点，曾国藩把这厘金运用的极好，还专门设置一个部门负责这项工作。湘军属于民间组织，没有朝廷调拨的军饷。曾国藩就靠这厘金不但维持住了湘军的运转，而且他旗下的士兵军饷还是其他正规军的数倍。
曾国藩不但注重湖南的发展，他还不失时机地把“分公司”开到了湖北。当时湖北总督伍文怡是胡林翼中进士时的主考官，算是胡的老师。他知道胡林翼很能干，请他前来支援，结果等到胡林翼带着六百兵丁赶来后，这位总督大人已经兵败身亡。
这一下胡林翼没有了靠山，在湖北举步维艰，没有粮饷走也不是留也不是，情形非常尴尬。曾国藩和他是同期的进士，和胡林翼的关系很好，对胡的才能也非常欣赏。这个时候曾国藩湘军才刚刚起步，也没有多少钱，但他还是极力支援了胡林翼。
曾国藩不但给钱还给人，让胡林翼在湖北站稳了脚跟。胡林翼果然不负曾国藩期望，在湖北发展很快，从区区六百多人发展到了数万人，成为了湘军在湖北的重要力量。
短短一年多时间，白手起家的曾国藩组建的湘军就已经具有了相当的规模，和比较强的战力。这个时候正是太平军西征的时刻，曾国藩带着他的湘军终于上阵了。