直接に力学の問題でなくて申し訳ないんですが、例えば三角形と球の接触判定を
行うときに、交点が三角形の中にあるかどうかだけ判断したのではエッジ近辺で
めり込みが起こってしまう。

めり込みを防ぐために球とエッジ＋頂点の当たりを取ると、今度は三角形を
二つ合わせた平面の継ぎ目近辺でエッジに変な判定が発生してしまう。
大した問題ではなかったので今までは無視していたのですが、なにか良い
解決方法はないでしょうか？

そもそもゲーム向け力学計算といっても、面倒なのは力学そのものよりも
むしろ接触判定にあるような気が。