Inaugurée en 1929, la résidence a été le théâtre de deux tentatives de coup d'État dans les années 1930. Plusieurs personnes ont été assassinées, dont le Premier ministre japonais de l'époque, Inukai Tsuyoshi, en mai 1932. Depuis, l'histoire raconte que le fantôme du défunt chef du gouvernement, ainsi que ceux de ses assassins rôdent encore dans les couloirs du bâtiment.