内部のアーキテクチャを推測すると
変数に直接アクセスするのにかかる時間を1とした場合
GetComponentでアクセスするのにかかる時間=100〜150
GameObject.Findでゲームオブジェクトを探すのにかかる時間=500以上

という印象。しかもGameObject.Findはシーン中のゲームオブジェクトの数に比例して
探すのにかかる時間が増える