fatboy.wavで試した結果

-b 320
mpg123 -vvv: Note: broken frame 1, filling up with 2304 zeroes, from 2304 のメッセージ
mplayer: mpg123: Can't rewind stream by 828 bits! のメッセージ
madplay: error: frame 2: Huffman data overrun のメッセージ
iTunes/QuickTime: 冒頭にノイズが聞こえる

-b 320 --strictly-enforce-iso
mpg123 -vvv: Note: broken frame 1, filling up with 2304 zeroes, from 2304 のメッセージ
mplayer: mpg123: Can't rewind stream by 1675 bits! のメッセージ
madplay: 冒頭にノイズが聞こえる
iTunes/QuickTime: 冒頭にノイズが聞こえる

iPhoneは持ってないから試せないけど、3.98.3の320kbps CBRでエンコードすると
場合によっては問題がありそうなファイルが生成されるのは確かなようだ。
3.98.2では問題無し。