/usr/share/emacs/site-lisp/wl/elmo
がload-pathに入っていたのが問題のようでした。
以下のファイルがあると>>623のエラーが再現されました。
elmo-cache.el
elmo-dop.el
elmo-localdir.el
elmo-map.el
elmo-net.el
elmo-pop3.el

現在、これをload-pathの通っていないところに移動して
使っているんですが、上記のファイルは必要なのでしょうか？
とりあえず今ははずすことで特にエラーもでていないのですが。
もしくはうまく解決できる方法を御存知の方がいましたら御教授願います。