霍去病的人缘就没有舅舅那么好了。霍去病很早就在宫廷中当官，富贵来得容易，带着贵族公子哥的味道，给人的感觉不太好。出征打仗的时候，刘彻照顾他，派人给他送去了数十车的好东西。霍去病看上了车，把车里的粮食和肉却给扔了。要知道，许多从军的士兵平时吃不饱饭。霍去病却从来不注意官兵们缺衣少粮的情况，自顾自地穿戴整齐华丽。这样的人有皇帝的垂青，在下面的人缘却好不到什么地方去。不过话又说回来了，皇帝喜欢的就是霍去病这样只知道打仗、头脑简单、人缘差的功臣。
可惜，霍去病大胜归来没几年，就在元狩六年（公元前117年）英年早逝了，只活了二十四岁。刘彻很伤心，把霍去病的葬礼办得风风光光，把霍去病的坟墓修建在自己的陵寝茂陵旁边，造得像祁连山一样，纪念他的战功。
受株连满门抄斩
刘彻很着急，不知道之后怎么压制住卫青的势力。他宁愿让许多军事行动所用非人，也不愿起用卫青重掌军权。卫青很聪明，干脆请病假，之后不怎么上朝了，进一步地韬光养晦。刘彻不怎么放心，在第二年（元鼎元年，公元前116年）以卫青的儿子宜春侯卫伉犯法为名，削去卫伉的爵位。几年后，卫青的另两个儿子阴安侯卫不疑、发干侯卫登因为献给朝廷的助祭金的分量不足或成色不够，被汉武帝削去爵位。至此，卫家“一门五侯”事实上只剩下卫青孤零零的一个长平侯了。卫青的“病情”随之越来越重，不怎么过问家门之外的事情了。