自分なりに調べてみたのですが、
totemで再生するとXorgは10%から20%の負荷しかかからず、
VLCで再生すると、80%以上の負荷になってしまいます。

これはソフトの使用になるのでしょうか？