SSHクライアント側の管理者ではなく
SSHサーバ側の管理者がのっとられた場合、
パスワード認証なら生パスワードを抜かれて悪用されるリスクがあるけど
公開鍵認証なら秘密鍵の内容を抜かれることはないはず