みなさん色々とありがとうございます。

つまるところ、
　・物理演算が必要な時はrigidbody(physics3)+3D系collider
　・不要な時は3D系colliderのみ
といった感じが良いんでしょうかね