問題発見です。
HSPのﾒﾓﾘｰとかポインタ見てみたのですが特に問題なしです。（多分；
で、いちかばちかクライアント側の反応速度を50ms→200msに変更。鯖側を1msに変更。
すると、単純に100ms=10~12人位,200ms=20~24人位となってました。
反応速度を落とせば落とすほど綺麗に通信できました。
64人なら600ms〜700ms程度まで下げる必要があるっぽいです。
以上、ずらずらすいませんでした。