そもそもキャラクターコントローラーに移動処理はいってなかった?
2重に動かしてんじゃね?