できるよ
proxy B 側で
cache_peer proxya.example.com parent 3128 3130 default
と書けばok

リバースだったらこの逆にすればいいはずだがそっちはやったことがないので良くわからん

詳しくは squid.conf のデフォルト設定を良く読め