曾国藩在削平太平天国之乱，湘军声威达于极盛之时，毅然以“湘军作战年久，暮气已深”为理由，奏请裁湘军归乡里，明白表示无挟军权自重的态度。至于湘军之遣散，实远在攻克金陵之前，曾国藩兄弟原即有所商讨。而非曾国藩个人之最先主张。
裁军启念之机，当在同治三年正月，金陵合围之后，已胜利在望，此时已可开始思考善后问题。曾国藩在二月初二日致曾国荃信中，确已透露，曾国荃则表示速裁全裁，亦与当时郁愤之心情有关，在曾国藩家书中皆可察见二人裁军意图与构想。
金陵克复之后，曾国荃坚辞任官，申请回籍休养，所部必需裁撤乃自然之理。只是曾国荃先期回籍，而裁军之事，则留予曾国藩经理。至少可见，湘军之裁撤实与曾国荃的引退有密切关系。
至于遣散湘军，在曾国藩一方面的计虑，可简约地做几点分析：
（1）战后遣军，为用兵常规，原为统兵将帅所须考虑。这是根本。
（2）曾国藩既居高位，又建大功获崇爵，原已忧畏权重，岂可久典兵权，徒增谗忌。遣散湘军，正所以为保泰持盈计。
（3）湘军合围金陵，成功在望，反而使神忌鬼瞰，曾家兄弟实已陷于群疑众谤之中。功成之后，尤须解兵柄以释嫌怨。