> 立ち上がっちゃえばたいして重くないんだけど、
> 立ち上げるのに15〜20秒かかるんだよね @LibrettoL2

えええ、それは確かに遅い。
Pentium PRO でも1秒か2秒くらいで起動できてたよ。
カーネルや、X以外のプロセスが既にメモリを消費しまくってるのかなあ。
メモリはどれくらい積んでる？ OSは何？

あるいは、フォントの問題かもしれない。
スケーラブルフォントを利用していて、起動時にフォントのスケーリングを
していれば、それくらいかかると思う。

だとすると、Xが使用するフォントを削れば解決する筈。
kterm だけなら、スケーラブルフォントは全て削除できるよ。
/usr/X11/lib/X11/fonts の 100dpi, 75dpi, misc だけ
FontPath に入ってれば、十分じゃないかな。