カメラの動作を止めたときに移動の方向を更新すればいいのでは？
俺はその「↑を押しっ放しでカメラを回すとキャラがその場でぐるぐる回る」動作好きだけど。