レイを飛ばしておいてノーマルとVector3.upの内積が一定以下になったら
ノーマルのY要素を抜いた方向に移動とかか?
滑り落ちる方向を割り出して移動とかでももちろんいいけど。

あとはコリダーとリジッドボディをつけといてその時にEnableにするとか。

まぁどっちにしても谷みたいなとこにはまるとガクぶるになるかもしれんが