当杜林走后，隗嚣又为同意杜林东归而感到后悔，于是派刺客杨贤，让其务必将杜遮杀于陇抵(今甘肃庄浪西六盘山山区)。杨贤很快就追上了杜林，杨贤因为看见杜林身推鹿车，载致弟丧，诚挚认真的精神令杨贤感动敬佩，乃叹道：“当今之世，谁能行义?我虽小人，何忍杀义士!”于是不仅没有杀杜林，自己也不愿意再为隗嚣卖命，逃亡而去。这个时候走的这些人，应该说都是隗嚣的反对派，他们离去使隗嚣的耳根子显得清净了许多。这样，那些拥护隗独立的议论自然因此占了上风。
反对言论最为激烈的则是将军王元、王捷，常以为天下成败未可知，反对隗嚣内事刘秀。王元就曾劝说隗嚣道：“昔更始西都，四方响应，天下喁喁，谓之太平。一旦败坏，大王见无所厝。今南有子阳，北有文伯，江湖海岱，王公十数，而欲牵儒生之说，弃千乘之基，羁旅危国，以求万全，此循覆车之轨，计之不可者也。今天水完富，士马最强，北收西河、上郡，东收三辅之地，案秦旧迹，表里河山。元请以一丸泥为大王东封函谷关，此万世一时也。若计不及此，且畜养士马，据隘自守，旷日持久，以待四方之变，图王木成，其弊犹足以霸。要之，鱼不可脱于渊，神龙失势，即还与蚯蚓同。”