コライダーだけ6つ置くぐらいなら、当たったら持ってる色に変わるスクリプト作って、それを持ったplaneをプレハブにして、6枚で一つのキューブっぽいもの作ってプレハブにした方が余程楽だし、
順番に考えられるし一つずつテストできるし、あとで正八面体作りたいとか変な雲行きになってきてもなんとでもなると思うが。
そしたら当たったもののベクトルの逆ベクトルを、当てられた物のtransformで変換してどの面の色考えるかよりはるかに楽だし、プリミティブで作れる。