公開鍵は使いまわせるけど、秘密鍵は使いまわせないですよね？
その公開鍵をベースに秘密鍵を使うクライアントで秘密鍵を作らないと動かない。