徐阶不想和太监结交，一是出于道德观念，二是缘于自信。他坚信自己还有力量让朱载垕回归正途。
其实，朱载垕自继位后就从未在正途上。朱载垕对徐阶态度的转变，引起了言官们的注意，或者说是徐阶让他们有了注意力。他们开始向朱载垕发动进攻，正如一年前向高拱和郭朴发动的进攻一样，排山倒海，铺天盖地，神鬼皆惊。
朱载垕在那三位太监的指引下，对那些上疏置之不理，反而以守为攻。1568年六月，朱载垕宣布要去北京四大郊野公园的南海子狩猎。言官们群轰，徐阶也上疏恳请朱载垕收回圣命。朱载垕不理，毅然决然地去了南海子。对徐阶而言，这是个重大打击。徐阶对张居正唉声叹气，张居正突然之间发现徐老师苍老了，像是秋季的干荷叶，色苍苍，已耐不住风霜。徐阶本来就不年轻，1568年时，他已六十六岁。多年的弹簧生涯，被压，反弹，复位，再被压，再反弹……他的精力已用尽，好运气也已用完。