昔のXがdefault設定でセキュリティヨワヨワな設定だったときに
他人のX鯖に繋いでキーインを全て盗むプログラムを使ったことがある

rootでXに入れば全てのコマンドを盗まれる可能性が高かったし
rootはconsoleでというのは今でもそんなに間違った考えではない
どこに敵(X鯖の設定ミス、エネミー)がいるか分からないので
特権は安全に使いましょうという心がけだよ

SuSE Linuxを使ったことがある?
rootでXを使うと爆弾マークの壁紙が出る
あの鳥も特権の必要な管理GUIツールは必要に応じて権限を昇格させることが出来るので
まぁ信用できるヤツが作ってンなと

俺の設定は確実、穴は無い、と強弁するなら好きにやればいいんじゃね？
漏れは他人のシステムが壊れようが何しようがなんとも思わんし