echo "sshd: [IPアドレス]" >> /etc/hosts.allow
echo "sshd: ALL" >> /etc/hosts.deny

で、パスワード認証なんですが、これでは不十分ですか？