朝廷无名怒火三千丈，刘铭传全丢在脑后，他只听李鸿章的。按曾国藩、李鸿章的布置，刘铭传派参将崔万荣一行赶赴张家口等地，挑选购买战马五百匹，着手编练“铭军马队”。
“瞧，办这些事也需要时间呀！哪能说走就走？我还要招募增添兵勇，购置粮草军需，不是在玩哩！”刘铭传一边发着牢骚，一边抓紧指挥队伍上路。四月初八日，“铭军”兵分两路离开六安城。刘铭传诗兴又起，以《出门》为题吟道：“久客得归家，山居乐鸡黍。忽传羽檄来，催促出门去。临行别妻孥，相看无一语。稚子放声哭，牵衣问行所。昔岁征吴越，今当入秦楚。壮士既从军，此身常羁旅。离别情实伤，军檄书难拒。愿儿早成长，一剑付与汝。”三十岁的刘铭传流泪了。妻程氏携儿盛芬赶到六安送行，更增添了刘铭传那深深的别离之情。挥手而去后，“铭军”万余将士于五月二十九日抵达徐州。可巧，曾国藩也从金陵一路快马加鞭到达徐州城下。刘铭传顾不上旅途劳顿亲率部将四十余人赶到南门外恭迎。