それ以外の一連の動作でかかった時間を算出してみました。

ov_open_callbacks………16ms
デコード……94ms
ov_clear……73ms

ov_clearだけでもかなり時間かかるな…
仮にデコード時間がゼロでも問題になりそうですね。

効果音にogg使ってるゲームって
あらかじめ使う音を全部デコードしてメモリに入れてるのかな