>>718です。そのまま正面が常にカメラの方に向くようにy軸を回転させることで解決できました
少しいびつに映る気がしますがそこは2Dキャラクターなので大した問題でもなさそうです
毎回この処理をするのも手間がかかりそうなので、そういうAssetも探してみたいと思います
ありがとうございました