それは良くある勘違い。
実際にはエクステンションの仕組みを使うと、何でもできる。

例えば XFree86-DGA エクステンションを使って、クライアントが
直接フレームバッファにアクセスするとか、聞いたことない？