壁にlayerを設定。「Ignore raycast」がデフォで入ってるはず

それでも無理なら
public LayerMask mask;
でマスクを作って、RayCastの引数へ渡せば良いと思う