ファイルの読み込み速度のことで困っています。

現在、外部サーバにあるファイルを取得したいと考えているのですが、
どうも取得に5秒近くかかってしまいます。

また、ローカルのファイルであれば100ms程度で取得が完了します。

この開きをなるべく縮めたいのですが、何か解決策はありますでしょうか？
アドバイスよろしくお願いします。

環境：Win7/Apache2/PHP5