ビット演算について聞きたいんです。

P = { 0, 1, 2, 3 }に対して1加算と1減算ができるとします。
P = 3の時1加算したら0に戻るようにするには、 P = (P+1) & 0x03とすればいいわけですが、
P = 0の時1減算したら3になるようにビット演算でする方法が思いつきません。
もしあれば教えてください。
別にifでもいいんですが、気になるもので。