追記です。
SetActive(false)した後、activeSelfがfalseになっているのをログに出して確認しています。
現象としては、Active状態が反映されるまでにラグがあるのではなく、
そのオブジェクトに対応させているSpriteが消えるまでにラグがある状況です。
（動作としては非アクティブになっているけれど、絵だけが残っている）