本来のXサーバー(2D)はカーネル関係ないが、
3Dアクセラレーションに関してはカーネルサポートが必要で、
カーネル側にドライバーが必要なのは常識。