Squid Web Proxy Cache 2
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2006/02/02(木) 05:35:20本家: http://www.squid-cache.org/
0742名無しさん@お腹いっぱい。
2010/04/15(木) 11:20:35カスタマイズされたフィルターで日本語コード変換したりとかって
stone
や
squid
もできるんだっけ?
0743名無しさん@お腹いっぱい。
2010/04/16(金) 20:44:020744名無しさん@お腹いっぱい。
2010/04/27(火) 01:27:26評価したが、
キャッシュサーバとしてはsquidよりぜんぜん遅かった。
開発者もいろんなプロトコルを変換するとか転送するとかに興味があるみたい。
0745723
2010/04/29(木) 07:46:20そりゃsquidみたいなストレージ管理もないし、
スピードの点では不利だね。
でもその昔、Mosaicが単一日本語エンコーディングしか
対応してなかった時代には重宝したのよ。
あとはnntp proxyとかね。
0746名無しさん@お腹いっぱい。
2010/04/29(木) 07:56:500747名無しさん@お腹いっぱい。
2010/04/29(木) 23:49:520748名無しさん@お腹いっぱい。
2010/04/30(金) 00:29:410749名無しさん@お腹いっぱい。
2010/05/04(火) 14:36:530750名無しさん@お腹いっぱい。
2010/05/04(火) 21:24:310751名無しさん@お腹いっぱい。
2010/05/24(月) 18:55:26メインメモリをramdisk化してcossで動かすのがいいか
プロセスに大量にメモリを使えるようにしてnullで動かすのがいいか
悩み中
0752名無しさん@お腹いっぱい。
2010/05/25(火) 17:51:24ぜひyacyのノードになってください
0753名無しさん@お腹いっぱい。
2010/05/26(水) 01:35:090754名無しさん@お腹いっぱい。
2010/05/26(水) 08:53:050755名無しさん@お腹いっぱい。
2010/05/26(水) 21:00:573.0だとnullもあるが
これじゃ3になって速くなったのか遅くなったのかさっぱり分からん
0756名無しさん@お腹いっぱい。
2010/05/26(水) 21:09:29「3.2を待て!」とかあるけどいつ出るのやら
0757名無しさん@お腹いっぱい。
2010/05/27(木) 00:01:553.1だとcache_dirをまったく書かなければ
3.0までのnull相等のオンメモリベースで動くようになるのだね
ttp://wiki.squid-cache.org/Features/RemoveNullStore
じゃあこれでいいやこれで様子見
0758名無しさん@お腹いっぱい。
2010/05/31(月) 10:20:47<squidGuardを使ったコンテンツフィルタリング>
http://pc11.2ch.net/test/read.cgi/sec/1272658571/
0759名無しさん@お腹いっぱい。
2010/06/07(月) 18:42:56低速なのSSLサイトに接続してゆっくりデータが流れつづけると
CPUを100%喰う傾向があるような気がする。
マルチコアCPUマシンで動かしているのでそれほどの実害はないのだが…
0760名無しさん@お腹いっぱい。
2010/06/15(火) 21:17:12IPv6 を on off しても変わらん
0761名無しさん@お腹いっぱい。
2010/06/18(金) 20:06:17この辺からたぐるか
0762名無しさん@お腹いっぱい。
2010/06/18(金) 23:50:52でもその状態で IPv4 クライアントへサービスできなかったわけでは無いのがややこしい
ログ記録処理の部分に問題があるのかな
0763名無しさん@お腹いっぱい。
2010/06/30(水) 19:44:330764名無しさん@お腹いっぱい。
2010/07/01(木) 18:27:48http://wbproxy.take-uma.net/
0765名無しさん@お腹いっぱい。
2010/07/01(木) 20:28:380766名無しさん@お腹いっぱい。
2010/07/05(月) 12:58:020767名無しさん@お腹いっぱい。
2010/07/06(火) 23:26:37squidで出来るのかわかんないけど
0768名無しさん@お腹いっぱい。
2010/07/07(水) 00:49:160769名無しさん@お腹いっぱい。
2010/07/07(水) 02:27:090770名無しさん@お腹いっぱい。
2010/08/07(土) 20:56:200771名無しさん@お腹いっぱい。
2010/09/09(木) 09:10:300772名無しさん@お腹いっぱい。
2010/09/10(金) 01:45:56まだむり(少なくとも3.1.6までは)
0773名無しさん@お腹いっぱい。
2010/09/10(金) 05:41:420774名無しさん@お腹いっぱい。
2010/09/10(金) 15:37:32read errorとか出るんだけど、なんでだろ?
0775名無しさん@お腹いっぱい。
2010/09/10(金) 15:42:150776名無しさん@お腹いっぱい。
2010/09/10(金) 16:17:41ということ
0777名無しさん@お腹いっぱい。
2010/10/07(木) 17:52:23下記以外にもあれば教えて下さいm(__)m
http://ajax.googleapis.com/
http://ajax.microsoft.com/
http://yui.yahooapis.com/
http://cdn.jquerytools.org/
http://code.jquery.com/
0778名無しさん@お腹いっぱい。
2010/10/09(土) 22:19:30http://www.squid-cache.org/Versions/v3/3.0/cfgman/refresh_pattern.html
>FRESH if expires < now, else STALE
これは
レスポンスヘッダにExpiresがある場合
その期限時刻より現在時刻が大きい(期限が過ぎてる)とキャッシュは新鮮
期限時刻より現在時刻が同じか小さい(期限は過ぎてない)とキャッシュは古い
と読めるのですが不等号が逆の気がします。
でも条件式を引用しているサイトでそういう指摘をしてるサイトを見かけません。
自分の読み方がおかしいのでしょうか?
0779名無しさん@お腹いっぱい。
2010/10/10(日) 08:31:360780名無しさん@お腹いっぱい。
2010/10/11(月) 00:47:41あまり詳しくないので
スレ違いだったらすいません。
VPSにsquidをいれてプロキシサーバに
しようとしているのですが、
どのサイトにアクセスしても
VPSに設定したサイトしか表示されません。
原因や解決策がわかる方、
教えていただけないでしょうか。
0781名無しさん@お腹いっぱい。
2010/10/11(月) 17:48:43リバースプロキシを作るページを参考にして設定してるんじゃないの
0782名無しさん@お腹いっぱい。
2010/10/11(月) 20:26:59この storeurl_rewrite_program ってSquid 3.xには搭載されないのかな。。
これないとYoutubeキャッシュできないじゃん!
Squid3使ってて、url_rewrite_系がこれの代替えだと勘違いして時間無駄にした(´・ω・`)
http://www.squid-cache.org/Doc/config/url_rewrite_program/
Youtubeキャッシュするために2.7に落とそうか..
0783780
2010/10/12(火) 10:37:06レスありがとうございます。
フォワードとリバースがあるんですね。
知りませんでした。
ちょっと調べてみます。
0784名無しさん@お腹いっぱい。
2010/10/13(水) 20:09:41例えば
acl cache_deny rep_mime_type ^text/javascript
acl cache_deny header_access Location .
cache deny cache_deny
みたいにしたいのですが、これだと無理でした。
0785名無しさん@お腹いっぱい。
2010/10/13(水) 20:13:45acl cache_deny rep_mime_type ^text/javascript
acl cache_deny rep_header Location .
cache deny cache_deny
0786名無しさん@お腹いっぱい。
2010/10/16(土) 13:12:25これを通じてさらにSquidを親串にしてみたらpolipoが強みのパイプライン機能が動かなくなった。これを回避する方法がありますか?
また、Squid自体はパイプラインに対応していないんですかね?
0787名無しさん@お腹いっぱい。
2010/10/16(土) 20:36:48pipeline_prefetchの設定をチェック
http://www.squid-cache.org/Doc/config/pipeline_prefetch/
0788名無しさん@お腹いっぱい。
2010/10/17(日) 22:45:290789名無しさん@お腹いっぱい。
2010/10/18(月) 15:07:170790名無しさん@お腹いっぱい。
2010/10/24(日) 08:48:240791名無しさん@お腹いっぱい。
2010/10/24(日) 08:52:24squid が不要なので、使わないのが最も最適化された方法
0792名無しさん@お腹いっぱい。
2010/10/24(日) 13:38:37確かSquidがデフォでも閲覧速くなったような気がしたんだけど
そもそもブラウザのキャッシュ仕組み悪いんだからな
Firefoxの場合キャッシュのエントリーは8192しか残れないことが特に痛い
それにGoolgeのエンジニアもそう言ってたし
ブラウザキャッシュの改善とパフォーマンス
http://journal.mycom.co.jp/news/2010/04/30/057/index.html
0793名無しさん@お腹いっぱい。
2010/10/24(日) 17:53:260794名無しさん@お腹いっぱい。
2010/10/25(月) 00:22:41というか、anonymousBに設定してもuser-agentだけだだ漏れになるんですが、
設定のどこを見直せばいいんでしょうか?2.7.9です
0795名無しさん@お腹いっぱい。
2010/10/25(月) 16:49:52公式サイト読ム
http://www.squid-cache.org/Versions/v2/2.7/cfgman/header_replace.html
>Requires: --enable-http-violations
$ squid -v
デ コンパイルオプション ミレル
0796名無しさん@お腹いっぱい。
2010/10/25(月) 20:29:41一人二人ならまさに >>786 にある polipo を使ったほうがいいんじゃないか?
そしてウェブブラウザ側のキャッシュをゼロにしておけば良かろう
0797名無しさん@お腹いっぱい。
2010/10/25(月) 22:57:200798名無しさん@お腹いっぱい。
2010/10/27(水) 02:51:510799名無しさん@お腹いっぱい。
2010/10/27(水) 11:33:06>ファイルの前の方だけキャッシュする
意味分からない、詳細詳しく
0800名無しさん@お腹いっぱい。
2010/10/27(水) 16:57:37自分独り用のキャッシュサーバーだけど、こんな感じでやってる
・外部ファイル(画像 .css .js)とニコニコ(nicovideo.jp/smile)は refresh_pattern で明示的にキャッシュする (保持期間長め)
・ニコニコ以外の動画サイトとダウンロードファイル等(.zip .iso .pdf .mp4 ...)は acl と cache deny で明示的にキャッシュしない
・メモリの搭載量を増やして cache_mem に多めに割り当てる
・cache_swap_high と cache_swap_low の値を1違いにする
・replacement_policy は lru が良い気がする
・DNS関係のキャッシュsizeを増やす (ipcache_size/fqdncache_size)
・negative_dns_ttl を小さく、positive_dns_ttl を大きくとる
・reload_into_ims を on
・pipeline_prefetch を on
ブラウザ側 (Firefox)
・about:config で browser.cache.disk.enable を false
・about:config で browser.cache.memory.enable を true
・about:config で network.http.proxy.pipelining を true
0801名無しさん@お腹いっぱい。
2010/10/27(水) 17:50:40すぐ試してみるわ。サンクス。
0802名無しさん@お腹いっぱい。
2010/10/27(水) 17:57:24>外部ファイル(画像 .css .js)とニコニコ(nicovideo.jp/smile)は refresh_pattern で明示的にキャッシュする (保持期間長め)
こんな形でいいのでしょうか?
refresh_pattern -i \.css$ 10 50% 60 reload-into-ims
refresh_pattern -i \.js$ 10 50% 60 reload-into-ims
refresh_pattern -i \.xml$ 10 50% 30 reload-into-ims
0803名無しさん@お腹いっぱい。
2010/10/27(水) 19:29:45>801ではないが pipeline_prefetchは 勉強になった
0804名無しさん@お腹いっぱい。
2010/10/27(水) 20:27:310805名無しさん@お腹いっぱい。
2010/10/27(水) 21:40:42ご参考まで
refresh_pattern -i .css$ 1440 50% 2880 ignore-reload
refresh_pattern -i .js$ 1440 50% 2880 ignore-reload
refresh_pattern -i .xml$ 1440 50% 2880 ignore-reload
0806名無しさん@お腹いっぱい。
2010/10/28(木) 00:04:37>>805
ignore-reloadとreload-into-imsの違いは何でしょうか?
0807名無しさん@お腹いっぱい。
2010/10/28(木) 02:47:55refresh_pattern -i \.(gif|png|jpg|jpeg|ico)$ 10080 90% 43200 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.css$ 1440 90% 2880 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.js$ 1440 90% 2880 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.xml$ 1440 90% 2880 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.index.(html|htm)$ 0 40% 10080
普通に速い
0808名無しさん@お腹いっぱい。
2010/10/28(木) 08:27:51Firefoxで network.http.proxy.pipelining を使わないで代わりに
network.http.max-persistent-connections-per-proxy
の値をおもいきし増やす*とサクサク感が増したかも。
(* network.http.max-connectionsの値と同じにしちゃう)
(鯖とは有線LAN接続。無線経由だと勝手が違うかも)
>>802
形はそんな感じで。
min max は単位が分なので対象のコンテンツの更新頻度を勘案してもっと大きくして良いと思いますよ。
オイラはTumblrやFlickrを良く巡回するので画像なんかはかなり強めのキャッシュ設定にしてまふ。
>>806
公式
http://www.squid-cache.org/Versions/v2/2.7/cfgman/refresh_pattern.html
日本語
http://www.itmedia.co.jp/enterprise/articles/0812/01/news024.html#blue
0809名無しさん@お腹いっぱい。
2010/10/28(木) 10:31:28いまいち分からないけど
reload-into-imsよりignore-reloadのほうが画像コンテンツに合ってる気がする…
それとも組み合わせても悪くもなさそうな…
0810名無しさん@お腹いっぱい。
2010/10/28(木) 11:10:50refresh_pattern -i \.(gif|png|jpg|jpeg|ico)$ 10080 90% 43200 reload-into-ims ignore-reload ignore-no-cache ignore-private
0811名無しさん@お腹いっぱい。
2010/10/28(木) 13:09:13mimeタイプではセットできないの?
いまどき画像ファイルを拡張子で判定できるとは限らないし。
0812名無しさん@お腹いっぱい。
2010/10/28(木) 13:16:41むしろ、まとめて判定する方法あるの?
0813名無しさん@お腹いっぱい。
2010/10/28(木) 21:24:24network.http.max-connections-per-server も同じ様に増やすと良いよ。
あと、pipeliningは完全にオフにしないで
network.http.pipelining.maxrequestsを2くらいに減らすのも試してみると吉。
0814名無しさん@お腹いっぱい。
2010/10/29(金) 01:43:350815名無しさん@お腹いっぱい。
2010/10/30(土) 14:22:08たとえばこういうのは、URLの末尾が .jpg$ だけど流れてくるのはHTMLだ。
http://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:Feral-kitten-eating-adult-cottontail-rabbit.jpg
MIMEタイプが image/jpeg とか image/* かどうかで判別するのが本筋だと思うけど。
できないのかな。
0816名無しさん@お腹いっぱい。
2010/10/30(土) 16:39:49使用されている画像が4、5点程度でも歯抜けなどザラに起こるし
再読み込みの必要が発生した時点でそのページに関しては2倍の時間をロスした事になる
読み込みミスなどは普通に利用していれば0で済むのにわざわONにするのは全く効率的でない
それとnetwork.http.max-connections-per-server等は増やす程速くなる訳では無く
速度に関してマイナスになる事も普通にあるので数字で確認出来るページで確認しないと損しますよ
質問です
Windowsのコマンドプロンプトの書式が良く分かりません
squidというproxyを使ってキャッシュを作ろうと思ったんですが
アクセス権限権限の関係で"permission denied"と表示されるため変更しようと思ったんですが
chown squid:squid /var/cache
これだと構文が間違っていると言われてしまいます
実際にcacheフォルダの配置はC:\squid\var\cacheといった形になってます
0817名無しさん@お腹いっぱい。
2010/10/31(日) 13:35:52これ見てもなかなかわかりませんけど…
http://squidproxy.wordpress.com/2007/11/16/how-cachable-is-google-part-1-google-maps/
0818名無しさん@お腹いっぱい。
2010/10/31(日) 15:42:43> ・外部ファイル(画像 .css .js)とニコニコ(nicovideo.jp/smile)は refresh_pattern で明示的にキャッシュする (保持期間長め)
> ・ニコニコ以外の動画サイトとダウンロードファイル等(.zip .iso .pdf .mp4 ...)は acl と cache deny で明示的にキャッシュしない
キャッシュしないURLはsquidをショートカットさせた方がいいと思うけど
セキュリティの問題がある。
function FindProxyForURL(url,host) {
if (host == "nicovideo.jp" || /\.(jpg|png|gif|css|js)$/.test(url)) {
return "PROXY host1:port1";
} else if (/\.(zip|iso|pdf|mp4)$/.test(url)) {
return "DIRECT";
} else {
return "PROXY host2:port2";
}
}
>>811
> mimeタイプではセットできないの?
未対応?
http://bugs.squid-cache.org/show_bug.cgi?id=1913
0819名無しさん@お腹いっぱい。
2010/10/31(日) 21:06:00>・replacement_policy は lru が良い気がする
LRU:最終アクセス順にキャッシュに残す
LFU-DA:累積参照数と最終更新日を元にキャッシュに残す
GDS-F:累積参照数をbyteで割った数字と、最終更新日を元にキャッシュに残す
http://www.hpl.hp.com/techreports/1999/HPL-1999-69.html
によると↑と読めるので
自分の場合は
メモリキャッシュはブラウザ側のメモリキャッシュもあるので、LRUでなくheap LFUDAにしてる。"ついさっき使った"ではなく、"最近よく使っている"キャッシュを保持する感じで。
あとmaximum_object_size_in_memory を8MBで容量制限。
GDSFは昔はともかくHDDもメモリもコンテンツも容量的にリッチな現在では極端すぎる気がする。
ディスクキャッシュはLRU。LRU以外は、頻繁にアクセスしててもキャッシュの作成/更新日から時間がたつと、だんだん序列が下がってやがて消えちゃうみたいなので。
0820名無しさん@お腹いっぱい。
2010/11/01(月) 14:53:33Squidとか使ってたらブラウザのメモリーキャッシュはもう別にいらなくてもいいじゃない?
それにそれを切れば動作も一層サクサクになれるかもしれないし。
0821名無しさん@お腹いっぱい。
2010/11/01(月) 19:00:36日本語化の方法はよくわからないんですけど…
0822名無しさん@お腹いっぱい。
2010/11/01(月) 20:09:04ならない
0823名無しさん@お腹いっぱい。
2010/11/01(月) 20:20:41詳しく頼む
0824名無しさん@お腹いっぱい。
2010/11/01(月) 20:23:380825名無しさん@お腹いっぱい。
2010/11/01(月) 20:32:000826名無しさん@お腹いっぱい。
2010/11/01(月) 22:14:380827名無しさん@お腹いっぱい。
2010/11/01(月) 22:17:34えっ
0828名無しさん@お腹いっぱい。
2010/11/01(月) 22:25:070829名無しさん@お腹いっぱい。
2010/11/01(月) 22:31:15情強さん、乙です。
0830名無しさん@お腹いっぱい。
2010/11/01(月) 23:51:290831名無しさん@お腹いっぱい。
2010/11/04(木) 21:56:240832名無しさん@お腹いっぱい。
2010/11/05(金) 15:12:22別な板で聞いたら?
0833名無しさん@お腹いっぱい。
2010/11/05(金) 16:57:200834名無しさん@お腹いっぱい。
2010/11/05(金) 18:26:29http://wiki.squid-cache.org/Features/LogFormat#common
0835名無しさん@お腹いっぱい。
2010/11/07(日) 19:58:53パラメータのreload-into-imsとignore-reloadの併用は実質な意味があるのでしょうか?
0836名無しさん@お腹いっぱい。
2010/11/07(日) 23:56:270837名無しさん@お腹いっぱい。
2010/11/08(月) 00:33:530838名無しさん@お腹いっぱい。
2010/11/08(月) 06:00:38ログ見る限り、ignoreがあるとimsも無効っぽい。
0839名無しさん@お腹いっぱい。
2010/11/11(木) 16:00:09その割に何かデメリットがありませんでしょうか?
0840名無しさん@お腹いっぱい。
2010/11/11(木) 23:14:59外部のDNSサービス(googleなら8.8.8.8等)はともかくこういう場合は指定不要?
それとも明示的な指定があった方が良いの?
ソレらしい場所は見当たらないっぽいけど…
0841名無しさん@お腹いっぱい。
2010/11/12(金) 03:11:55何で何を指定するの?
■ このスレッドは過去ログ倉庫に格納されています