うーん、ジャギはしょうがないのかなぁ。
グレースケールでマスク作って、ピクセルごとの明度で不透明度決めて背景に透過とかってできます？