いや、transformは自動GetComponentだって話
それにRayCastHitInfoとるために内部で何度もGetComponentしてる
今更一回くらい増えたところで変わらんだろう

GetComponent以外でそれ以上に処理が軽いユニークな情報を取得する手段がありえるとしたらGetInstanceIDくらいか
でもどっちにしてもリストと比較しなきゃならんし結局のところIndexOfでやることになる。