法的に無理じゃないよ。
債務不履行があれば、交換要求できる。
瑕疵あるものを交付しても債務の履行にはならない。

この場合の交換は、裁判になれば確実に認められる正当な要求だよ。