そんな奇抜な方法を取らなくてもいいと思うけど。
立方体の衝突判定の場合、6つの無限平面との内積でしょ？
それと同じだよ。面がいくつあろうが凹凸だろうが。
これはわかった上で、速度面で問題があるから別の方法を模索しているのか
そうじゃないのか見当がつかない。