追記
/etc/ssh/sshd_configで、PasswordAuthentication yes
として、パスワード認証はしないようにしています。