隆庆元年，高拱委托御史齐康弹劾徐阶，将他儿子横行乡里的罪状全部报上来。郭朴也以徐阶草拟遗诏，诽谤先帝为由，向他进攻：所谓的先帝遗诏，根本就不是先帝的意思，徐阶只是在给先帝招黑，让他老人家自己打自己的脸！面对压力，徐阶赶紧上疏辩解，支持他的人特别多，毕竟是多年老臣了，树大根深，九卿以下纷纷弹劾高拱。在强大的舆论压力下，高拱顶不住了，只好请病假，递上辞职报告：对不起，我身体不太好，无法胜任工作，请组织允许我回家休息。皇帝准了；齐康、郭朴也随之离开了中央。
事情结束后，朱载坖心里很不是滋味，这么多大臣，如此卖力地为徐阶说话，假如国家有难，他们会不会挺身而出，为朕赴汤蹈火呢？裕王府的旧臣也对高拱的离去感到伤心，部分官员对徐阶当年奉承严嵩的事不满，虽然是韬光养晦的政治手段，但这些没怎么经历过官场黑暗的人就是不理解，认为徐阶真的就是那样的人。隆庆皇帝命令中官李用等人分别监管团营，遭到徐阶极力劝阻，认为不妥，此事得罪了宦官。后来南京振武营兵屡次发生哗乱，徐阶命御史将他们遣散，并惩处了为首者，又一次把宦官给得罪了，因为振武营是他们管的。《明史》记载：“阶所持诤，多宫禁事，行者十八九，中官多侧目”；隆庆二年春，朱载坖想要去南海子游玩，徐阶又劝，使皇帝更为恼火，出去玩玩你也管，管得也太宽了吧！当给事中张齐以私人恩怨弹劾徐阶时，徐阶请求退休，隆庆皇帝早就有这个想法，批准了；徐阶从此离开政坛，回老家当起了他的地主。