元康三年（公元前63年）四月，叔侄二人已在任职五年。当时太子年已十二，能通《论语》、《孝经》，二人已经尽到了责任，他们如果再待下去，就要多生嫌疑了。疏广对疏受说：“我听说，知足不辱，知业不殆，功成身退，方合天道。今你我叔侄已官至二千石，应该知足了，此时不去，必有后悔！何不同归乡里，以享天年！”疏受听了他的这一番话，觉得十分有道理，当即跪拜道：“愿从叔命！”
于是，疏广疏受联名上奏，托病告假。宣帝准假三月，期满后，二人又上书，自称病笃，请归故里。宣帝见二人年纪已大，便下诏准奏，赐黄金二十斤，太子也赠金五十斤。二人受金拜谢，整装出都。朝中的公卿大夫以及故人挚友听说了这个消息，就设宴东城门外，为其饯行。当时送行的车辆达数百辆之多。围观的人见此，都称赞二人是贤才！
疏广回到故里，并不置备产业，为自己准备什么家产，而是日日设宴，遍邀同族近邻，日日欢饮。时间一久，所赐的黄金用去不少，疏广仍不停息，令卖金设宴，没有一点儿吝惜的样子。一年过后，子孙眼见黄金即将耗尽，心中暗暗着急，就私下找到同族父表说：“子孙都希望多治些产业，如此天天欢饮，黄金将要耗尽，请代劝家父，多买些宅为好！”