コードを眺めてて気になる点があったので弄ってみたら、とりあえず>>795は治った。正しい修正なのかは不明。

--- libmp3lame/reservoir.c.orig 2010-03-20 23:19:04.000000000 +0900
+++ libmp3lame/reservoir.c 2010-03-20 23:19:13.000000000 +0900
@@ -305,8 +305,8 @@
* If the next frame is at a lower bitrate, it may have a larger ResvMax,
* and we will not have to waste these bits! mt 4/00 */
assert(stuffingBits >= 0);
- l3_side->resvDrain_post += (stuffingBits % 8);
- gfc->ResvSize -= stuffingBits % 8;
+ l3_side->resvDrain_post += stuffingBits;
+ gfc->ResvSize -= stuffingBits;
}
#else
/* drain the rest into this frames ancillary data */

HAでrobertにPMを投げといたので、とりあえず何らかの対処をしてくれる、はず。