やはりそうですよね?ここを見るとこの環境ではデータから評価してるようですが。
http://viva-ubuntu.kilo.jp/?p=1358

スペックに余裕の環境ではこんな数字で、メモリ消費量は低スペックマシンにはHDDガリガリモード。
http://journal.mycom.co.jp/news/2010/03/09/045/index.html

確かに192MメモリマシンでXfceはGnomeと体感的に微妙でした・・
あきらめてLxdeか、Fluxbox入れて見るかっすねハイ