3DのFPSとかやったことある？BF1942とか。
まさに視線はマウスポインタ、移動はキーでやるんだけど。
BF1942をHMDでやるのが近いかも。

ttp://accell.web.infoseek.co.jp/bf1942/index.html

オブジェクト（ってかシーンかな？）をリアルタイムで切り替えるのはDXFだと
重たいかも。シーンの広さ制限するとか必要かもね。