結局上手くいったのですが一つ気になったことがあります…。
ディフューズ色がある頂点バッファはマテリアルのアルファが反映されないんですが、
ディフューズ色がないほうは反映されました。これはこういうもんなんでしょうか？