> M-x describe-key ^H すると何がおされたことになってるかわかると思います。何になっていますか?

^H入力後、次のキー入力を待ちますね (標準のC-hと同じ)。
試しに次にaを打つと、C-h aのヘルプが出てくるので、C-hが押された
ことになっていそうです。

少なくとも、
・WindowsでEMACS_23_1_RC枝先頭を自前ビルドしたEmacs 23.0.96。
・FreeBSD 7.2R上のportsで入れたEmacs 23.0.95。
の2つの環境で同じ現象が起きています。

# Emacs22.xでも同じなのかちょっと気になりますがもう手元に環境がない……。