素人質問ですが、よろしくお願いします。

現在RSA暗号化方式が時間がかかるって理由で
主流って書いてあるんだけど、
例えば既知の素数のリストを使ったりしても難しいの?