因为中原八王之乱，时局动荡，张轨图谋占据河西（黄河以西）地区，在占卜以后得到上签，更加坚定了自立的决心。他请求前往凉州（州府设在姑藏，今甘肃武威市）镇守，于是在永宁初年被任命为护羌校尉、凉州刺史。这时候鲜卑反叛，攻城略地，势不可挡，张轨到任后，用宋配等作为自己的心腹智囊，率兵征讨，斩首万余，声震河西。
他在当地设置学校，招收学生，开始推行教化，后又挫败谋乱，俘虏十多万人，顿时威名大震，晋惠帝遂加升他为安西将军、安乐乡侯，食邑千户。张轨还大规模修建姑藏城。这座城本来是匈奴人修建的，具有一定规模，南北七里，东西三里，地势似龙形，所以又叫卧龙城。
现在张轨病倒，就让他儿子张茂代理主持州政府事务。陇西内史张越出身凉州的名门望族，想趁机赶走张轨。他与自己的哥哥酒泉太守张镇、西平太守曹祛等商量，想派人到长安向南阳王司马模禀告，说张轨因病致残，已经不能正常履职，请求让秦州刺史贾龛接替他的位置。贾龛将要答应，他哥哥责备他道：“张轨是当世名士，威震河西，你有什么资格取代他？”贾龛于是放弃。张镇等还不死心，上书要求另派他人，可朝廷指令还没有到，张镇等就迫不及待宣布罢免了张轨的职务，让军司杜耽代理州政，又让杜耽上书朝廷，请求任命张越为刺史。