ちょっとみた限りではHandbrakeはDVD用、BDメニューに対応してないのならエラーで当然
m2tsを分析してチャプタ分けしてくれるツール（重い）を使うか、BDメニュー構造に対応したツールを探すしかないだろ？
BDメニューに対応してるのは無い気もするし、あってもレアだろな