自己解決。
Mavericksの入っているSkia.ttfがお行儀よくないらしい。
/opt/local/share/texmf-texlive/tex/luatex/luaotfload/luaotfload-blacklist.cnf
に
% Causes segmentation fault with Mavericks
Skia.ttf
と追記したら、Segmentation faultしないようになった。
lualatexで正常にコンパイルできるようになった。

でも、なんだな。初めてlualatexを使うときに裏でフォントデータベース作成に5分くらいかかるから、
たった数行のソースですら、毎回こんなに時間がかかるのかと絶望的な気分になる初心者が続出だろうな。