>DirectXかWIN32APIのバグの疑いがあるかもしれないので

ふむ? 私もwin32とDirectXでプログラミングをしているのでそれは興味深いですね。
例えばあなたの使ったメソッドやAPIの挙動がドキュメントに記されている仕様と
どう違うのか詳しく教えてくれませんか?

それと、あなたの言う「正常」が実際に何を指すのか少し不明瞭だと思うのです。
拡大縮小のアルゴリズムは無数にあり、それぞれ結果が異なります。
「きれい」にという主観的表現では、回答者にあなたの求めるものが正確に伝わらないことがあります。