前文说到1852年太平军攻占岳州、汉阳，八旗军连连溃退，毫无招架之力。此时当洪秀全来到湖南长沙城下。这里有着湮灭了他天王梦的一生宿敌—曾国藩！此时的曾国藩因母亲去世在湖南老家丁忧，本意无心军事，而且他自己在此之前一直都是文官—翰林院出身，一路侍学讲士，内阁学士直到礼部右侍郎。却建立了当时清朝战斗力最强悍的部队，成为剿灭太平天国的主力，并对之后的历史产生了深远的影响。
曾国藩组建湘军有以下几个原因，
一、太平军逼近，保卫乡土；
二、他是标准的传统士大夫，宋明理学的大家，忠君报国的思想促使他临危受命；
三、当时八旗军节节败退，咸丰帝看到八旗军已经控制不住局面，所以下诏地方自行筹措保卫武装，当时的湖南巡抚和湖广总督再三请求曾国藩出山。
曾国藩刚开始无心军事是情有可原的，因为从清朝建立政权开始各项政策从来就没有忘记防备汉人。（满人只有不足一百万，却统治着几亿汉人，你可以想见清朝统治者如履薄冰的心态），清朝的统兵将领一直都是满人，包括汉八旗的绿营为首的长官也是满人。咸丰帝也不过是在局势所迫下无奈做出的允许地方建立武装的旨意。毕竟历代中央王朝重点防范之一就是地方做大，脱离中央掌控。组建湘军时满洲贵族赛尚阿（之前平叛太平天国的钦差大臣，节节败退的就是他）、军机大臣穆彰阿都上书咸丰皇帝，担心汉人建立私军会削弱八旗地位，甚至尾大不掉成了第二个吴三桂。但曾国藩也受到了汉臣的支持，湖南巡抚、湖广总督、湖北巡抚本着地方自保以及长期受满人打压的义愤坚定支持曾国藩。
对于咸丰帝来说他此时没有选择，虽然担心日后可能会出现汉军做大的情势，但那也只是可能。眼下如果不先消灭太平天国，爱新觉罗的统治很快就会灰飞烟灭。因此清廷派他当“帮办湖南团练大臣”，组织地方军抵抗太平天国。
曾国藩不信任八旗绿营，在自己家乡招募兵勇，他有一个思路，以宗族关系为纽带，只招朴实的农民，流氓、流民、无业者一概不收。在衡阳设营，亲自抓训练，每营五百人，下设哨、队，层层负责。士兵不仅接受军事训练，而且学习儒家文化。曾国藩亲自为湘军做《爱民歌》和《治兵语》（类似于19世纪的三大纪律，八项注意），你可以想见一直有着价值观念作为向心力的部队比起一帮只为了抢钱的部队战斗力会大多少？湘军的军费全靠曾国藩向湖南乡绅筹集，地方上的一些商业税以及他自掏腰包维持。
1853年，太平军围攻长沙失败后转而进攻岳州，曾国藩趁机扩军，兵力达到5000人。他组建水师，因为太平军擅长水战，而绿营形同虚设。曾国藩委托弟弟曾国全和水军将领杨岳斌在衡阳建造战船，招募水手，购置火器，训练协同水路作战。到1853年底，湘军已经有陆军10营，大约5000人和水师10营。
1854年2月，太平军进攻湘潭，曾国藩率湘军迎战。这是湘军首次大规模作战，凭借水师优势和陆军配合，大败太平军，击毙敌军数千，解湘潭之围。这场胜利让湘军名声鹊起，也让曾国藩信心倍增。10月，湘军联合绿营攻克武昌，太平军退守下游。清廷大喜，封曾国藩为湖北巡抚（后因满人反对取消），赏二品顶戴，正式认可湘军的地位。1855-1856年，湘军兵力增至1.7万人，水陆并重，装备从刀矛升级到火枪、抬炮。曾国藩设“湘军大营”于南昌，指挥作战，逐步成为平叛主力。正好这一年“天京事变”，太平军自毁城墙，湘军趁势反攻，直到1864年由曾国藩的弟弟曾国全率领湘军攻破天京，太平天国覆灭。
这时候湘军兵力已达到12万人，朝廷意识到庞大的湘军如果继续存在不仅耗费巨资，而且很有可能威胁清朝统治。为避免猜忌，曾国藩于1864年8月上书朝廷请求裁撤湘军（湘军打败太平天国是7月19日，才半个月不到的时间）。理由是：“冰柜经不贵多，天下已平，不宜多养冗兵”。从1864年秋到1865年初，他下令解散大部分湘军士兵，遣散回乡。
裁军分阶段进行：先裁老弱病残，保留精壮；再逐步遣散普通士兵，发给遣散费（每人约3-5两银子）； 水师裁撤较慢，因长江防务仍需船只。到1865年，湘军从12万人裁至约3万人，裁掉近三分之二。最后只保留约3万精锐，包括曾国荃的“吉字营”（约1.5万人）和水师一部。这些部队不再由他直接统领，而是交给弟弟曾国荃和其他将领，如彭玉麟（水师统领）1866年，他将这部分湘军交给朝廷管理，名义上纳入绿营体系，实际仍由湘军旧将控制，用于长江防务和剿匪。 曾国藩本人从此淡出军事，专注于两江总督的民政事务，如恢复经济、兴办洋务。
1868年，曾国藩调任直隶总督，彻底离开湘军驻地（江苏、安徽、江西）。湘军残部逐渐融入地方防军，或被李鸿章的淮军吸纳，至1872年曾国藩去世时，湘军作为一个独立体系已名存实亡。退出了中国近代史的舞台。
如上我们可以看到湘军因太平天国出现而生，因天平天国覆灭而灭。曾国藩作为一个书生硬是被形势推到了历史的风口浪尖，在湘军存在的时间里他就是事实上的军阀。军队全听他指挥，经费也完全独立，只是曾国藩本人深受儒家忠君观念影响，从来就没有生出过反叛清朝的心。（不然中国一定是另一番历史走向）但站在清朝贵族的角度也不能完全说他们的猜忌是错的，曾国藩是没这么做，可后来有一个深受湘军、淮军影响的人彻底终结了清朝——袁世凯。