凄く初歩的なことかもしれないのですが、外部から接続してくるサーバを
制限したいのですが、client_restrictionsの設定をすればよいですか？

スパムや、ウィルスのチェックを外部サービスを使用することにしたので、
そこのサーバからのみ接続を許可したいです。

client_restrictionsの内容
www.xxx.yyy.zzz OK