そんなん環境と実装によるだろ、と思うけど
よくある物理演算のエンジンて
一定時間動かなかったものはstatic化して処理を軽くする
UnityのPhsycsが内部でそうやってくれてるかは知らんが
やってないならそんなもんじゃね