レスいっぱいでビックリした。
認識としては、公開鍵が抜かれても特に問題は無し、
公開鍵が書き換えられる状態だと、そのサーバのみ成りすまし可能、
秘密鍵は抜かれたら、全サーバー成りすまし可能で、
秘密鍵が抜かれる状態だと、どっち道全部持ってかれるので
個別にペアを用意していても意味ないんじゃないかなと
思った次第です。