1. オブジェクトの頂点を全部変換するんじゃなくて、
当てられるほうの判定球とベクトルにワールド座標の逆行列をかけて判定。

2. 必要に応じて1の段階でリストアップしたポリゴンを詳細に判定