おっと、すれ違い失礼。
上記環境でglxgears実行中のCPU負荷は約50%(@Opteron 1.8GHz)で、
glxgears自身のCPU使用がほとんどを占めて(Xorgの負荷は1%程度)います。

ピクセルデータの転送に負荷がかかるなら両方の負荷が上がると思うので、
3D向けカードならGPUでやるはずのジオメトリ計算の負荷がCPUにかかってる
…のかな? ちょっと自信はないんですが。