秘密鍵の取り扱いにさえ気を付ければ大丈夫なんじゃない？
もれはputty-agentにパスフレーズ記憶させてる。パスなしよりはまし？