ローカルアクセスなら DISPLAY=:0 で unix ドメインソケットを使うわけで、IP アドレス関係なしにウィンドウシステム起動可能でしょ。っていうことを普通の人は考えてると思われ。