自分しかSSHでアクセスしないサーバでの話だが、
アクセスがあるとそのリモートアドレスだけをhosts.allow に記述するHTTPSのページを作って
そのページにアクセスしてから鍵認証でSSHにログインするようにした。
自宅からや出張先からもつなぐ必要があるけど、すごく楽になった。

ただ、もしapacheだけ落ちたりしたらお手上げなので、メール受け付けると、hosts.allowを sshd: ALL にする
メルアドとスクリプトも作った。