DirectFBとかの方向かな。
これも結局>>10がいう通りの理由で、パフォーマンスではXに対する優位性はない。

QtとかGTKがそこそこ使えるようになってきた昨今、大抵の事はXを直でさわる事なしに
出来ると思うけど。