GCのアルゴリズムの都合でデカいメモリ確保を確保した場合にGCがくるサイクルが20秒とかいうオーダーの場合もあるから遅くなってるだけ。
解放追いつかない の件はブラウザのGCさえ来れば解放される。
あの時話題になったのは負荷テストで毎秒のようにBGM変更してた時の現象で普通にゲームプレイする時はそんなベンチマークなことしないから問題ない。
liplyさんに確認取ってもらえばそれのことだと回答もらえるよ