もう全く状況も実装もわからないので完全にエスパーだが
キャラが方向転換する→カメラが大きく動く→テキストの座標算出が遅れる→ズレるって感じじゃないかと推測する

もしかしてキャラの方向転換とそれに伴うカメラの移動とテキストの座標算出のどちらもUpdateでやっててその実行順がテキスト→カメラ&キャラのの順だったりしないか？
この場合テキストの位置が確定→キャラの方向転換処理→カメラの視点が変化→レンダリングの順に処理されるから1フレームテキストの位置が遅れる
それがキャラの方向転換のような大きな視点変化の時に明確化するだけで実は常に1フレーム遅れている様な気がする

もしそうならテキストの座標算出をLateUpdateに移すかScript Execution Orderを弄ってみるといいかもしれない