1902年，清廷挑选了三千余人的八旗士兵编成一协，定名为“京旗常备军”，袁世凯派出“北洋三杰”中的“龙”王士珍担任协统。后又将从各地招募回的壮丁编为第二协，由冯国璋担任协统，从而构成常备新军左镇。1903年12月4日，清廷成立练兵处，庆亲王奕劻为总理大臣，直隶总督袁世凯为会办大臣，铁良为襄办大臣，徐世昌为总提调，而段祺瑞则被任命为练兵处军令司正使，加副都统衔。1904年，常备军左镇改为第一镇，先由凤山代担任统制官，后由何宗莲接任。随后又将右镇改为第二镇，由王英楷担任统制。
为了“用人唯才”，袁世凯规定军中所有高级将领必须通过考试选拔，成绩最佳者才能出任高的职位。问题就在这个时候出现了，王士珍和冯国璋分别取得高分，担任协统，但段祺瑞的成绩却并不是最出类拔萃的，眼看着第三镇成立又要进行考试，堂堂原武卫右军总办、练兵处军令司正使，却考不到第一名，这似乎有点儿说不过去，而且这样也不利于“北洋三杰”的平衡发展。没有办法，袁世凯只好在考试前把试题偷偷告诉给段祺瑞，这样才让段祺瑞考上了第三镇的统制。
也就是在1904年，段祺瑞的妻弟吴光新从日本陆军士官学校毕业回国，除了徐树铮之外，段祺瑞的身边又多了一个智囊。除此以外，皖系日后的当家人此时都已经逐渐成为北洋系中的重要角色，靳云鹏担任着浙江新军标统，段芝贵担任天津南段巡警总局总办，田中玉担任山东兖州镇总长，卢永祥担任第二镇标统，倪嗣冲总理北洋营务，傅良佐也在常备军担任要职，此时的皖系已经颇具雏形。1905年，段祺瑞又调任第四镇统制，第三镇统制由段芝贵担任，此后段祺瑞又出任第六镇统制。而在这一年，徐树铮暂时离开了段祺瑞，他被保送到日本陆军士官学校步兵科，要在那里“充电”。