>>52
47は raycastが「なにかに」当たったら「自分を」消す
というコードになってる
そのコードを全パネルで実行していることになる
まずは自分のコードがおかしいと疑う事から始めれよ

この手の判定はゲームのタッチを管理するオブジェクトを作って
そこでタッチの数だけraycastを飛ばしてヒットしたGameObjectに通知して処理をするか
OnPointerDown()あたりのイベント関数で拾う

コードも設計からしておかしいわ