衝突は難しいよな。
当たり判定がめりこんでから衝突判定になるから押し戻されるんだろ。

キーを押した瞬間に押した方向に障害物がないか判定させて
なければ進むというスクリプトを組むしかない。