>>580
JPEGってのはもともと4×4だか8×8忘れたけど、ブロック単位で情報処理する関係で、
境界部分が劣化するのは画像フォーマットそのもの仕様

えーと、マスクデータをどうやって作ってる?
krkrtpc で変換してるなら、「完全透明部分の色情報」を「合成」にしてやってみ。
境界部のモスキートノイズが軽減される。
そのかわり情報量が増える関係でサイズはやや大きくなる。