いや要するにピボットじゃなくてヒットしたその点に移動させたいってだけではないのか？
raycasthitからpoint拾ってくりゃいいんじゃねぇの？