朝夕相处间，父子俩的矛盾越来越尖锐，没过多久，他们就再次升级到了对簿公堂的地步。哈曼状告父亲，要求法院以自己没有工作能力为由停止其对父亲的赡养义务，但哈曼的父亲对此提出了抗辩，让诉讼被撤销。之后因为一次暴力冲突，哈曼的父亲以死亡威胁的罪名将哈曼告上了法庭，由于缺乏证据，该指控同样被撤销。
从此之后，哈曼彻底脱离了这个家，和未婚妻一起开了一家鱼店，神奇的是，这次开店他还得到来自父亲的资助。1904年，哈曼结束了和未婚妻的婚约，因为他怀疑对方有了情夫，可鱼店是以未婚妻的名义注册的，哈曼再次成为了无业游民。
人活着就要吃饭，由于他长期以来的坏名声，没有人愿意收留他，于是哈曼摇身一变成了一名小偷，终日在火车站游荡，偷窃来往的旅客。在哪里混得久了，哈曼甚至还能和走私团伙搭上线，偶尔赚上一小笔黑钱。