オフの敷居を高くしてはどうでしょう？
単に「〜に飲みに集まる」とか「〜でマターリする」などという
そこで何をするのか良く分からないオフは無しの方向で。

突発の敷居の低さが「ヒマなんで何となく行ってみようか」などという
そのオフに対する思い入れのない参加者を増やしてると。
そんな人々の集まりは自治も働かないと思うのです。例えば道頓堀状態？

定期・大規模の方はオフの目的が割とはっきりしてるので
目的の為に参加者は自制する部分がありますし、なんかあった時には注意もしやすいです。