実際のとこ、ISP の SMTP サーバ経由で ISP の管理下以外のアドレス
で送って来るのなんてほとんど spam だぞ。
* 大多数のユーザーは ISP からもらったアドレスを使用
* それ以外のアドレスを使用する場合は発行元のサーバを経由
てな感じだもん。

送信元アドレスを制限すべきではないってのは、10 年くらい前の
3rd party relay を制限すべきではないってのと同じような原則論
でしかないんじゃないのか?