OnControllerColliderHitが反応するときと反応しないときがあるのですが、原因が分かりません。

キャラクターコントローラーをもったオブジェクト（突っ立ってる）にコライダをもっとオブジェクトが突っ込んでる、という処理をしてるのですが、
このとき、突っ立ってるオブジェクトにコライダが突っ込んで止まるのですが、
OnControllerColliderHitが反応するときと反応しないときがあります。ソースはこんな感じです。

void OnControllerColliderHit(ControllerColliderHit collision) {
Debug.Log("HIT!!!!");
}

突っ込んだオブジェクトはコントローラーのオブジェクトに当たって止まるため（何も無ければ進み続ける）間違いなく接触はしていると思うのですが、
実行して数秒経過して接触して突っ込むオブジェクトを停止しても上記ログが出るときと出ないときがあります。

何か実行するたびに位置や判定のサイズなど変わる要素が無く、まったく原因が分からないのですが、
何かOnControllerColliderHitが反応しない原因などありますでしょうか。