普通に
モデルのローカル座標上のカメラの姿勢を定義して
モデルのワールド行列で姿勢を変換すればいいだけじゃ？