FontPathを削ってみたところ速くはなりました。
が、6〜10秒程度はかかります。
(startxと打ってから、ktermにコマンドが入力できるようになるまで。@twm)

Section "Module" も全部コメントアウトしてみたが、
起動時間が変化したようには感じられなかった。

Xを起動した状態で
$ free
total used free shared buffers cached
Mem: 239864 141524 98340 0 5292 94680
-/+ buffers/cache: 41552 198312
Swap: 248968 0 248968
なので、スワップで時間がかかっているわけではなさそうです。

他の方はどれくらいの時間で上がってますか？
というか完全スレ違いですね。ごめんなさい。