咸丰十一年十一月，有圣旨向曾国藩询问关于援助江苏的部队的将帅人选，曾国藩拿出李鸿章来应答；并且向朝廷申请调派数千部队，让他们尽快赶赴下游，去援助围剿敌军。于是李鸿章回到庐州，去招募淮军的英勇之士。等到把他们带到安庆后，曾国藩为军营制定必须遵守的纪律，军队器械的用法，军饷还有粮食的数量，这些一律全都模仿湘军队伍里的规章制度，但也参照楚军军营里的方法来训练他们。先是淮南的百姓不断被太平军、捻军骚扰、践踏和蹂躏，百姓民不聊生、生活困难，只有合肥县的仁人志士张树声、张树珊两兄弟，周盛波、周盛传两兄弟，以及潘鼎新、刘铭传等人，自从咸丰初年，他们就开始组织团练习武，从而能够保卫乡里不受侵害，还修筑堡垒来防止流寇骚扰，所以安徽全省都被践踏得体无完肤，只有合肥县自己保护得很完整。等到李鸿章开始招募淮军的时候，他将这些旧的团练武装组织起来加以严格地训练，二张、二周、潘、刘都跟着他。淮人有个叫程学启的，以前是在曾国荃那里当部下，这个人本来是太平天国英王陈玉成部下的一员猛将，后来投降了湘军，一直做官做到了参将，不管是论智慧还是论勇敢都是数一数二的，曾国藩特意挑选他，让他跟着李鸿章，后来他凭借着骁勇善战，名声大噪，称得上是名冠一时。淮军刚刚组建好的时候，曾国藩拨出部分湘军的军营当作附加的援助，然后特意从湘军的将领中选择一员优秀的大将统领他们，听从李鸿章的指挥，这个人就是郭松林了。因此淮军的著名将领，唯有程、郭、刘、潘、二张、二周。

同治元年（一八六二年）的二月份，淮军组建完毕，一共八千来人，打算顺着长江一路往下，从太平军的要塞边冲过，去援助镇江，这个方法还没有最终决定。二月二十八日，上海的官僚绅士筹集了十八万两银子，雇了七艘大轮船，行驶赶赴到安庆来迎接淮军，定好分三回把他们都拉到上海去。三月三十日，李鸿章的军队全都到达了上海，他接到圣旨，暂时代理江苏巡抚这一职务，并让薛焕当通商大臣，专门办理和别人交涉的事情（薛焕，原来是江苏巡抚）。

那时候常胜军的制度管理等还没有完全制定好。华尔作为一个外籍的将领，他监督管理着五百人的军队，驻守着松江。同治元年的正月，敌兵一万多人来侵犯松江，把华尔部队围了几十圈之多，华尔奋力战斗击退了他们。等到李鸿章抵达上海的时候，华尔所在的部队被划归李鸿章指挥，又新招募了一些中国的壮士勇者，李鸿章命令华尔对他们加以训练。这些士兵的军饷和粮食，比那些湘军、淮军的每支军队都要多。

从此之后，常胜军终于成为一支得力的武装队伍。