南方当这时候，却产生出一种新势力来。晋朝从东渡以后，长江上流的形势，迄较下流为强，以致内外相持，坐视北方的丧乱而不能乘。当淝水战前六年，谢玄镇广陵，今江苏江都县。才创立一枝北府兵，精锐无匹，而刘牢之为这一枚军队的领袖。淝水之战，就是倚以制胜的。下流的形势，至此实已较上流为强。
东晋孝武帝是一个昏愦胡涂的人。始而信任琅邪王道子，后来又猜忌他，使王恭镇京口（今江苏镇江），殷仲堪镇江陵以防之。慕容垂死的一年，孝武帝也死了，子安帝立。398年，王恭、殷仲堪同时举兵。道子嗜酒昏愚，而其世子元显，年少有些才气。使人勾结刘牢之倒戈，王恭被杀。而上流之兵已逼，牢之不肯再战。殷仲堪并不会用兵，军事都是委任南郡相杨佺期的（南郡，治江陵）。而桓温的小儿子桓玄在荆州，仍有势力，此时亦在军中。晋朝乃以杨佺期刺雍州，桓玄刺江州，各给了一个地盘，上流之兵才退。后来殷仲堪和杨佺期，都给桓玄所并。
402年，元显乘荆州饥馑，举兵伐玄，刘牢之又倒戈，桓玄入京城，元显和道子都被杀。桓玄是个狂妄的人。得志之后，夺掉了刘牢之的兵权，牢之谋反抗，而手下的人不满他的屡次倒戈，不肯服从，牢之自缢而死。桓玄以为天下无事了，就废安帝自立。然刘牢之虽死，北府兵中人物尚多。404年，刘裕等起兵讨玄，玄遂败死。安帝复位。刘裕入居中央，掌握政权，一时的功臣，都分布州郡，南方的形势一变。