サーバで作ったキーペアのうち秘密鍵の方をクライアントに移すのはダメでしょうか？
そして鍵を受け渡す方法がよく分からなくて困っています；；