ちょっと色々忘れてるのでちゃんと調べた方がいいかも

Phisics2DはXY平面上のレイを飛ばすものだった気がするので
始点からゼロベクトル方向に飛ばす、とかできたか覚えてない
そもそもRaycastは始点から指定方向にたいしての指定距離内の一番近くを返すものだから
使い方がおかしい気がする

ちょっとみた感じ Phisics2D.OverlapPoint() が目的の動作かも