ダミーモデル置いて、クォータニオンを使ってそいつの向きや位置でカメラを
制御しようと思ったが、見事に失敗した。

仕方ないから注視点と位置を上手く利用して、力技でやってるが、なかなかいいぞ。
イメージとしては、注視点を固定して、カメラをゴム紐で引っ張る感じ。