マップイベントのデータってマップ切り替えても保存されてましたよね。
その辺でマップが新しく参照されるたびにメモリの使用容量が増えて重くなるのかな。
そのあたり最適化したら重くなりにくくなるかも。
つか仮ファイルに保存したらメモリ使用容量はかなり余裕が出るような。