authorized_keys だけじゃなくて .ssh ディレクトリ自体もパーミッションが適切じゃないと
RSA認証とかしてくれないのね。しばらく悩んだ。