>>460
V1、V2に対して共に垂直となるベクトルを外積を使って求めると、その長さは
|V1×V2| = |V1| |V2| sinθ

ところで線分ABと点Pの距離は |V2| sinθなので

|V2| sinθ= |V1×V2| / |V1|

つまり、V1,V2の外積を求めて得られるベクトルの長さを
ベクトルV1の長さで割ってやると線分ABと点Pの距離は求まるのでは?

>AP・ABとBP・ABでチェックするつもり。

この↑あいまいでようわからん。最終目的は「線分ABと点Pの距離を求める」んじゃないのか
最終的に必要なも求めたいものは何?なにをやろうとしてるの