LANG=ja_JP.UTF-8 とか設定しておけばいいってことかな。
emacs -q したら普通に current-language-environment が Japanese になってたし
なんちゃら-coding-system も utf-8-unix とかになってたわ。

デフォルト教が捗るなこれは。
標準で C-h がバックスペースじゃないことだけがどうしても納得いかないけど。