頂点配列をこんなインターリーブ形式にすると

struct Vertex
{
public short x, y;
public byte r, g, b, a;
public short u,v;
};
struct Sprite
{
public Vertex v0,v1,v2,v3;
};

8x8サイズで 5000まで上がるっす
頂点の更新&SetVerticesで13msかかるようになって結構速くなるな。
6000までは更新だけで15msぐらいだけど、あとは描画が間に合わないな。