てっきり、php.iniの中の送信元のメールアドレスを修正すれば直るかと思い
php.ini を見たのですが、Windowsの場合にのみ設定が必要な様です。
(つまりLinuxの場合だといじるなという事。)
したがって、現在のphp.iniの設定は次の様になっています。

[mail function]
; For Win32 only.
;SMTP = localhost
;smtp_port = 25

; For Win32 only.
;sendmail_from = me@example.com
;sendmail_from = me@example.com