Xはそもそもサンプル実装からしてDDX(デバイス依存部)とDIX(デバイス独立部)に
分離して設計されているはず。
(OpenWindowsのDeveloper's Guideにはいまでもその構造が保持されている旨記述があるし、
XFree86サーバのXAAとかもDDX的な思想を感じる)

だから、少なくとも現状より重くなることはないと思う。
DIX部をX以外のものにすげ替えるのが現実的にできるかどうかはわからん。