それよかなんでこんな構成なのかってところから考えるかな
solarisでやってたものを置きかえたいって話なのかな?

俺なら嫌だな。実際に動くかどうか試すというレベルならともかく
solarisでは動いていて実績もあったのかも知れないけど、他の
システムで似たような物を作って似たように動作したとしても
何かあったときに意味不明な状態に陥らないとも限らないもの
特にこういうイレギュラーな使い方をした場合は。

一からシステムを組むならVLANの分岐はスイッチにやらせて
スイッチ自体を冗長化する形じゃないかと思うんだけど違うかな。
事情があってハードウェア構成は変えたくないということかもしれ
ないけどさ