3Dってよくわからないんですけど
実際に描画されてるポリゴンの頂点使ってコリジョン判定するんですか？
それとも簡易的なモデル(長方形を連結して形成されただけのような)に、
描画モデルの同じボーン・アニメーションを指定して、衝突判定だけ簡易モデルの方を使うって感じでしょうか

というか処理が重そうですけど、大丈夫なんですか？3次元での距離判定でも結構持ってかれそうな気がするんですけど
角度を持つ長方形とかってめんどくさそう