鉴于海瑞的名声，徐阶决定予以重用。让海瑞到了江南，当了应天府的巡抚，管南京周围几个最富的州府。海瑞在那儿搞了两年，结果当地的赋税减了三分之二。大户人家都跑了，没有了税源。他自己倒是非常清廉，八抬大轿也不坐，骑驴子上班。这样他班子里的其他领导很不满意，因为他是一把手，既然他骑驴子，那二把手还敢坐轿吗？因此都想办法调走。富人都很怕他，穷人和富人一起打官司，不管有没有理，肯定是富人输。海瑞是一个非常理想化的人物，但他对行政管理的确缺乏经验。工作搞不上去，海瑞气得骂“满天下都是妇人”，愤而辞职。当时的首辅高拱也不留他，海瑞便回到海南的琼山老家赋闲。
10．终生弃用海瑞
张居正当了首辅之后，让每一个三品以上的大臣都向朝廷推荐人才，其中有不少人写信推荐海瑞。当时的吏部尚书杨博就这个问题还专门找了张居正，希望他起用海瑞，但张居正就是不用他。为什么呢？他觉得海瑞是一个很好的人，做人没有话说，道德、自律都很好。但好人不一定是好官。好官的标准是上让朝廷放心，下让苍生有福。好人是道德的楷模，做人没有任何可挑剔的。在官场里要想做好人，应该比较容易，守住“慎独”二字就可以了。做好官却很难，要让朝廷和老百姓两头都放心，这是多么难呀。海瑞做官有原则，但没器量；有操守，但缺乏灵活，因此有政德而无政绩。这一点，张居正看得很清楚。张居正不用他，还有一层原因：海瑞清名很高，如果起用，就得给他很高的职位，比他过去的职位还高，这才叫重用；如果比过去的职位低，那就证明张居正不尊重人才。话又说回来，如果你给他更高的职位，他依然坚持他的那一套搞法，岂不又要贻误一方？张居正想来想去，最后决定不用海瑞，而且在张居正执政的十年里，从来没有起用海瑞。海瑞第三次复出，是在张居正死后的一年，被安排在应天府当一名纪检干部，结果仍是与同僚关系紧张，没有做出什么政绩来。