但是，在佐尔格不停向莫斯科传递情报的同时，日本特种部队的报务员们越来越频繁地截获到一个身份不明的密电码，但一时还无法破译出来。日本人因为东京有一个外国间谍网而惶惶不安，安装着无线电测向仪的汽车到处巡回搜索，整个东京的反间谍机关都投入了行动。不久，目标就锁定在了佐尔格身上。
因为佐尔格是德国大使馆的贵宾，处于日德友好的考虑，日本人不敢轻易下手。东京警察厅只好让他的情人石井花子去盘问。花子说根本没有这回事。实际上，佐尔格从未跟她透露过自己的真实身份。佐尔格知道石井花子被传讯后十分震惊，但表面故作镇静，并大胆而礼貌地批评警察厅打扰了一位盟国朋友，弄得警察厅长十分尴尬，只好赔礼道歉。
虽然逃过了这一劫，可等待佐尔格的依然是一个寒冬。警察厅从打击日本共产党入手，通过摸索搜捕了“拉姆赛”小组成员宫木。经不住严刑拷打，宫木招认了。“拉姆赛”小组的全体成员均被逮捕。佐尔格供认：“我是间谍，但不是苏联间谍，而是德国间谍。”苏联政府也宣布：苏联与佐尔格毫无关系。
但是这些都没改变结局，1944年11月佐尔格于东京被秘密绞死，终年49岁。沉默了20年后，1964年莫斯科当局公开了佐尔格的秘密，并于佐尔格逝世的纪念日追认他为苏联的最高英雄。苏联报刊发表了许多文章，颂扬他在第二次世界大战作出的贡献。莫斯科一条大街、苏联的一艘油轮分别以佐尔格的名字命名。