大事なのは、凹んでいる角を見つけ出して、全部凸角形にするルーチンを書くことでしょ。
凹んでいる角を見つけるには、
時計回りに頂点を見ていって、例えば7-6-3の角の場合、7-6-3平面上にある、7-6の垂線と、
6-3の内積を取れば、凹凸角の識別ができるよ。
凹んだ角を見つけたら、２つ手前の(この場合9)で図形を分割する。これで9-7-6という三角形が分離できる。
そしたら、9-6-3でも同じことをやる。

いじょ。がんばれ