Squid Web Proxy Cache 2
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2006/02/02(木) 05:35:20本家: http://www.squid-cache.org/
0711名無しさん@お腹いっぱい。
2010/03/21(日) 13:18:410712名無しさん@お腹いっぱい。
2010/03/21(日) 13:25:13環境テロ団体グ○ーンピースみたいだなw
0713名無しさん@お腹いっぱい。
2010/03/22(月) 03:12:00車を持ち込んで運送屋でバイトしてる人が事故を起こしたら
個人として社会に公表されるって話かと
0714名無しさん@お腹いっぱい。
2010/03/26(金) 20:39:55全然話題にならないな。
0715名無しさん@お腹いっぱい。
2010/03/30(火) 06:25:02PC→Squid→セカンダリプロキシー
のような流れです。
0716名無しさん@お腹いっぱい。
2010/03/30(火) 07:10:27squidが動いてるサーバをそのプロクシサーバに向くように
ルーティングしてやればいんでね?
0717名無しさん@お腹いっぱい。
2010/03/30(火) 09:53:44cache_peer で parent 指定。
0718名無しさん@お腹いっぱい。
2010/03/30(火) 11:07:40www.pixiv.netとかで、最初のアクセスで画像だけ表示されません。
リロードすると表示されます。
ログを見ると、最初のアクセスは403、リロードした時は200でした。
最初403になる理由として、どんなことが考えられるでしょうか。
0719名無しさん@お腹いっぱい。
2010/03/30(火) 12:01:12ありがとう
0720名無しさん@お腹いっぱい。
2010/03/30(火) 23:58:43pixiv分からんが403ならサイトの認証に失敗してるんじゃね。
SquidClamavが先にデータを確認しにいくせいでそのままだと
G-mailの認証とかうまくいかなかった。
configのwhitelistに追加して認証できるようになった。
0721名無しさん@お腹いっぱい。
2010/03/31(水) 19:01:57pixivのログインせずに見れるトップ画面でもだめなんですよ。
恐らくリファとか特定条件をチェックしてるサイトがだめなんだと思うんですが、
今のところpixivだけなんで、とりあえずwhitelistに追加しています。
ちなみにGmailは問題ないんです。。。謎
0722名無しさん@お腹いっぱい。
2010/04/03(土) 16:36:012.4 系のカーネルです
100台くらいのクライアントPCのプロキシサーバです
Dell PowerEdge SC420
CPU : Pentium4 2.80GHz
RAM : 512MB
HDD : SATA 40GB
このような構成なのですが、ダウンロードやブラウジングがメッサ遅くて苦情がきます
ボトルネックの解析を行うのが先決なのですが、どこから解析していけばいいでしょうか?
また、4G のメモリを搭載したExpress 5800 110/Ge に移行しようと思うのですが、プロキシのパフォーマンス向上はありますでしょうか?
0723名無しさん@お腹いっぱい。
2010/04/03(土) 17:17:04アクセスログの記録が結構足を引っ張るから
buffered_logs on
あとは、自分管轄のとこでは
maximum_object_size_in_memory 32 KB
なんてしてる。
複数台proxy立ててsiblingしてるなら
log_icp_queries off
やったことないけど、一切キャッシュしない
cache_dir null /dev/null
っていう手もあるかもね
0724723
2010/04/03(土) 17:20:540725名無しさん@お腹いっぱい。
2010/04/03(土) 17:31:29>>722
大変参考になります、試してみます、プロキシサーバは1台だけの運用なのですが
i-filtter も動いています、それから今Express 5800 110/Ge にCentOS5.4 をインストールして
最新のカーネルをコンパイルしているのですが、squid が快適に動かせるようなコンパイルオプションとか
ご存知でしたら教えてくださいませ。
0726723
2010/04/03(土) 17:46:36squid-2.6.STABLE6で
./configure --prefix=/usr/local/squid --enable-storeio=diskd,ufs,coss --enab
le-default-err-language=Japanese --enable-snmp --enable-delay-pools --enable-cos
s-aio-ops --enable-linux-netfilter
としてた。あってるかはわからん。
まぁ、用途によって削ってください。linuxは--with-pthreadsとか効果あるのかしらね?
なんにせよ、スワップ起きないようにするのが一番いいみたい。
あと、i-filtterってなに?
0727名無しさん@お腹いっぱい。
2010/04/03(土) 17:51:32スペル間違えました、i-FILTERが正しくて
ttp://www.daj.jp/bs/if7/
仕事中、社員に2ちゃんねるを見せなくするためのソフトでして、通常プロキシサーバに
インストールするものです^^
0728723
2010/04/03(土) 18:00:232chをworking timeに閲覧禁止にするだけならsquidのaclで直接
acl 2chdomain dstdomain .2ch.net
acl WorkingTIme time MTWHF 09:00-16:59
http_access deny WorkingTIme 2chdomain
でどう?
0729722
2010/04/03(土) 18:09:49/var/log/message を見ますと、こいつの書込みが物凄いんですよね
入れたくないのですけど、前任の社員さんがインストールしていて、他の社員さんも
他のクライアントから、ブラウザで操作できて、使い易いから入れてくれと五月蝿いので仕方無しに入れています・・・・
0730723
2010/04/03(土) 18:13:572ch規制が前提なら後段のi-Filterに問い合わせ行く前に、
squidではじいちゃったほうがレスポンス上がるかもよ。
0731名無しさん@お腹いっぱい。
2010/04/07(水) 23:23:59勉強のためにCentOS5.4、squid2.7の環境で設定をしようと考えています。
@のネットワーク構成の場合Aのconf等の設定で接続できるのでしょうか。
iptablesでeth1の設定が必要かなと色々考えているのですが・・・
@ネットワーク構成
[client] 192.168.0.100〜/24
|
eth0 192.168.0.2/24
[squid]
eth1 192.168.0.3/24
|
[ルータ] 192.168.0.1/24
Aconf等の設定
[squid.conf] http_port 3128 transparent
[iptables] iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 80 -j REDIRECT --to-port 3128
0732名無しさん@お腹いっぱい。
2010/04/07(水) 23:55:000733722
2010/04/08(木) 06:51:43にVersion 2.6.STABLE24 をインストールしたら、苦情が少なくなりました
本当にどうもありがとうございました。
ところが、問題がまた発生しました
ICAP プロトコルを使う必要があるため、squid 2.6環境から3.x系環境に移行が迫られています
再び、squid をバージョンアップしなければならないのですが
./configure --prefix=/usr/local/squid --enable-storeio=diskd,ufs,coss --enab
le-default-err-language=Japanese --enable-snmp --enable-delay-pools --enable-coss-aio-ops --enable-linux-netfilter
この設定をそのまま引き継がせてコンパイルしても問題ありませんでしょうか?
また、2.6 系と3.0系 で大きく変わった部分とかご存知でしたらご教授願えませんでしょうか。
0734723
2010/04/08(木) 17:57:05アドバイスできないんだが
./configure --helpとかで使えるオプション
の一覧でないかな?
該当するのがあれば引き継げるだろうし
0735名無しさん@お腹いっぱい。
2010/04/09(金) 21:37:37仕事でやってるならサービス用の本番環境と一緒に同等機で試験環境組んどけよ
そうすれば試験環境で問題ないと判断できたらDNS側をいじって本番環境と試験環境を
ひっくり返してシームレスに移行(そして旧本番環境は新試験環境とする)、
ヤバい問題があったら即時切り戻し、とかできるし
故障した時にも対応が楽だろ
0736名無しさん@お腹いっぱい。
2010/04/11(日) 15:47:193.0.STABLE25 試験機に入れてみました、centos5.4 を最小限のプログラムでインストールしているので
予想通り、c++ のライブりがないとかありました。それからconfigure option ですが
--prefix=/usr/local/squid これしか認めてもらえず、他のオプションは全部カットしました、
coss が使えないのは痛いので、時間がある時ににいじって見ようと思います。
どうもありがとうでした。
0737名無しさん@お腹いっぱい。
2010/04/11(日) 15:53:57COSS filesystem in 3.0 has been deemed too unstable for production use has
thus been removed from this 3.0 STABLE release.
We hope that it can be made usable again in a future release.
待つしか無いようですね・・・・
3系のICAP プロトコルを選ぶか、2.6系のCOSS を選ぶか(^^;
0738名無しさん@お腹いっぱい。
2010/04/12(月) 10:56:540739名無しさん@お腹いっぱい。
2010/04/14(水) 17:52:33delegated -P8080 ADMIN=none CACHE=no SERVER=html FTOCL=wakati.cfi
wakati.cfi
#!cfi
Content-Type: text/html
Bosy-Filter: mecab -O wakati
0740名無しさん@お腹いっぱい。
2010/04/14(水) 18:21:43スレ違いだ
stone でもつかっとけ
0741名無しさん@お腹いっぱい。
2010/04/14(水) 18:24:33http://pc11.2ch.net/test/read.cgi/network/993355862/
0742名無しさん@お腹いっぱい。
2010/04/15(木) 11:20:35カスタマイズされたフィルターで日本語コード変換したりとかって
stone
や
squid
もできるんだっけ?
0743名無しさん@お腹いっぱい。
2010/04/16(金) 20:44:020744名無しさん@お腹いっぱい。
2010/04/27(火) 01:27:26評価したが、
キャッシュサーバとしてはsquidよりぜんぜん遅かった。
開発者もいろんなプロトコルを変換するとか転送するとかに興味があるみたい。
0745723
2010/04/29(木) 07:46:20そりゃsquidみたいなストレージ管理もないし、
スピードの点では不利だね。
でもその昔、Mosaicが単一日本語エンコーディングしか
対応してなかった時代には重宝したのよ。
あとはnntp proxyとかね。
0746名無しさん@お腹いっぱい。
2010/04/29(木) 07:56:500747名無しさん@お腹いっぱい。
2010/04/29(木) 23:49:520748名無しさん@お腹いっぱい。
2010/04/30(金) 00:29:410749名無しさん@お腹いっぱい。
2010/05/04(火) 14:36:530750名無しさん@お腹いっぱい。
2010/05/04(火) 21:24:310751名無しさん@お腹いっぱい。
2010/05/24(月) 18:55:26メインメモリをramdisk化してcossで動かすのがいいか
プロセスに大量にメモリを使えるようにしてnullで動かすのがいいか
悩み中
0752名無しさん@お腹いっぱい。
2010/05/25(火) 17:51:24ぜひyacyのノードになってください
0753名無しさん@お腹いっぱい。
2010/05/26(水) 01:35:090754名無しさん@お腹いっぱい。
2010/05/26(水) 08:53:050755名無しさん@お腹いっぱい。
2010/05/26(水) 21:00:573.0だとnullもあるが
これじゃ3になって速くなったのか遅くなったのかさっぱり分からん
0756名無しさん@お腹いっぱい。
2010/05/26(水) 21:09:29「3.2を待て!」とかあるけどいつ出るのやら
0757名無しさん@お腹いっぱい。
2010/05/27(木) 00:01:553.1だとcache_dirをまったく書かなければ
3.0までのnull相等のオンメモリベースで動くようになるのだね
ttp://wiki.squid-cache.org/Features/RemoveNullStore
じゃあこれでいいやこれで様子見
0758名無しさん@お腹いっぱい。
2010/05/31(月) 10:20:47<squidGuardを使ったコンテンツフィルタリング>
http://pc11.2ch.net/test/read.cgi/sec/1272658571/
0759名無しさん@お腹いっぱい。
2010/06/07(月) 18:42:56低速なのSSLサイトに接続してゆっくりデータが流れつづけると
CPUを100%喰う傾向があるような気がする。
マルチコアCPUマシンで動かしているのでそれほどの実害はないのだが…
0760名無しさん@お腹いっぱい。
2010/06/15(火) 21:17:12IPv6 を on off しても変わらん
0761名無しさん@お腹いっぱい。
2010/06/18(金) 20:06:17この辺からたぐるか
0762名無しさん@お腹いっぱい。
2010/06/18(金) 23:50:52でもその状態で IPv4 クライアントへサービスできなかったわけでは無いのがややこしい
ログ記録処理の部分に問題があるのかな
0763名無しさん@お腹いっぱい。
2010/06/30(水) 19:44:330764名無しさん@お腹いっぱい。
2010/07/01(木) 18:27:48http://wbproxy.take-uma.net/
0765名無しさん@お腹いっぱい。
2010/07/01(木) 20:28:380766名無しさん@お腹いっぱい。
2010/07/05(月) 12:58:020767名無しさん@お腹いっぱい。
2010/07/06(火) 23:26:37squidで出来るのかわかんないけど
0768名無しさん@お腹いっぱい。
2010/07/07(水) 00:49:160769名無しさん@お腹いっぱい。
2010/07/07(水) 02:27:090770名無しさん@お腹いっぱい。
2010/08/07(土) 20:56:200771名無しさん@お腹いっぱい。
2010/09/09(木) 09:10:300772名無しさん@お腹いっぱい。
2010/09/10(金) 01:45:56まだむり(少なくとも3.1.6までは)
0773名無しさん@お腹いっぱい。
2010/09/10(金) 05:41:420774名無しさん@お腹いっぱい。
2010/09/10(金) 15:37:32read errorとか出るんだけど、なんでだろ?
0775名無しさん@お腹いっぱい。
2010/09/10(金) 15:42:150776名無しさん@お腹いっぱい。
2010/09/10(金) 16:17:41ということ
0777名無しさん@お腹いっぱい。
2010/10/07(木) 17:52:23下記以外にもあれば教えて下さいm(__)m
http://ajax.googleapis.com/
http://ajax.microsoft.com/
http://yui.yahooapis.com/
http://cdn.jquerytools.org/
http://code.jquery.com/
0778名無しさん@お腹いっぱい。
2010/10/09(土) 22:19:30http://www.squid-cache.org/Versions/v3/3.0/cfgman/refresh_pattern.html
>FRESH if expires < now, else STALE
これは
レスポンスヘッダにExpiresがある場合
その期限時刻より現在時刻が大きい(期限が過ぎてる)とキャッシュは新鮮
期限時刻より現在時刻が同じか小さい(期限は過ぎてない)とキャッシュは古い
と読めるのですが不等号が逆の気がします。
でも条件式を引用しているサイトでそういう指摘をしてるサイトを見かけません。
自分の読み方がおかしいのでしょうか?
0779名無しさん@お腹いっぱい。
2010/10/10(日) 08:31:360780名無しさん@お腹いっぱい。
2010/10/11(月) 00:47:41あまり詳しくないので
スレ違いだったらすいません。
VPSにsquidをいれてプロキシサーバに
しようとしているのですが、
どのサイトにアクセスしても
VPSに設定したサイトしか表示されません。
原因や解決策がわかる方、
教えていただけないでしょうか。
0781名無しさん@お腹いっぱい。
2010/10/11(月) 17:48:43リバースプロキシを作るページを参考にして設定してるんじゃないの
0782名無しさん@お腹いっぱい。
2010/10/11(月) 20:26:59この storeurl_rewrite_program ってSquid 3.xには搭載されないのかな。。
これないとYoutubeキャッシュできないじゃん!
Squid3使ってて、url_rewrite_系がこれの代替えだと勘違いして時間無駄にした(´・ω・`)
http://www.squid-cache.org/Doc/config/url_rewrite_program/
Youtubeキャッシュするために2.7に落とそうか..
0783780
2010/10/12(火) 10:37:06レスありがとうございます。
フォワードとリバースがあるんですね。
知りませんでした。
ちょっと調べてみます。
0784名無しさん@お腹いっぱい。
2010/10/13(水) 20:09:41例えば
acl cache_deny rep_mime_type ^text/javascript
acl cache_deny header_access Location .
cache deny cache_deny
みたいにしたいのですが、これだと無理でした。
0785名無しさん@お腹いっぱい。
2010/10/13(水) 20:13:45acl cache_deny rep_mime_type ^text/javascript
acl cache_deny rep_header Location .
cache deny cache_deny
0786名無しさん@お腹いっぱい。
2010/10/16(土) 13:12:25これを通じてさらにSquidを親串にしてみたらpolipoが強みのパイプライン機能が動かなくなった。これを回避する方法がありますか?
また、Squid自体はパイプラインに対応していないんですかね?
0787名無しさん@お腹いっぱい。
2010/10/16(土) 20:36:48pipeline_prefetchの設定をチェック
http://www.squid-cache.org/Doc/config/pipeline_prefetch/
0788名無しさん@お腹いっぱい。
2010/10/17(日) 22:45:290789名無しさん@お腹いっぱい。
2010/10/18(月) 15:07:170790名無しさん@お腹いっぱい。
2010/10/24(日) 08:48:240791名無しさん@お腹いっぱい。
2010/10/24(日) 08:52:24squid が不要なので、使わないのが最も最適化された方法
0792名無しさん@お腹いっぱい。
2010/10/24(日) 13:38:37確かSquidがデフォでも閲覧速くなったような気がしたんだけど
そもそもブラウザのキャッシュ仕組み悪いんだからな
Firefoxの場合キャッシュのエントリーは8192しか残れないことが特に痛い
それにGoolgeのエンジニアもそう言ってたし
ブラウザキャッシュの改善とパフォーマンス
http://journal.mycom.co.jp/news/2010/04/30/057/index.html
0793名無しさん@お腹いっぱい。
2010/10/24(日) 17:53:260794名無しさん@お腹いっぱい。
2010/10/25(月) 00:22:41というか、anonymousBに設定してもuser-agentだけだだ漏れになるんですが、
設定のどこを見直せばいいんでしょうか?2.7.9です
0795名無しさん@お腹いっぱい。
2010/10/25(月) 16:49:52公式サイト読ム
http://www.squid-cache.org/Versions/v2/2.7/cfgman/header_replace.html
>Requires: --enable-http-violations
$ squid -v
デ コンパイルオプション ミレル
0796名無しさん@お腹いっぱい。
2010/10/25(月) 20:29:41一人二人ならまさに >>786 にある polipo を使ったほうがいいんじゃないか?
そしてウェブブラウザ側のキャッシュをゼロにしておけば良かろう
0797名無しさん@お腹いっぱい。
2010/10/25(月) 22:57:200798名無しさん@お腹いっぱい。
2010/10/27(水) 02:51:510799名無しさん@お腹いっぱい。
2010/10/27(水) 11:33:06>ファイルの前の方だけキャッシュする
意味分からない、詳細詳しく
0800名無しさん@お腹いっぱい。
2010/10/27(水) 16:57:37自分独り用のキャッシュサーバーだけど、こんな感じでやってる
・外部ファイル(画像 .css .js)とニコニコ(nicovideo.jp/smile)は refresh_pattern で明示的にキャッシュする (保持期間長め)
・ニコニコ以外の動画サイトとダウンロードファイル等(.zip .iso .pdf .mp4 ...)は acl と cache deny で明示的にキャッシュしない
・メモリの搭載量を増やして cache_mem に多めに割り当てる
・cache_swap_high と cache_swap_low の値を1違いにする
・replacement_policy は lru が良い気がする
・DNS関係のキャッシュsizeを増やす (ipcache_size/fqdncache_size)
・negative_dns_ttl を小さく、positive_dns_ttl を大きくとる
・reload_into_ims を on
・pipeline_prefetch を on
ブラウザ側 (Firefox)
・about:config で browser.cache.disk.enable を false
・about:config で browser.cache.memory.enable を true
・about:config で network.http.proxy.pipelining を true
0801名無しさん@お腹いっぱい。
2010/10/27(水) 17:50:40すぐ試してみるわ。サンクス。
0802名無しさん@お腹いっぱい。
2010/10/27(水) 17:57:24>外部ファイル(画像 .css .js)とニコニコ(nicovideo.jp/smile)は refresh_pattern で明示的にキャッシュする (保持期間長め)
こんな形でいいのでしょうか?
refresh_pattern -i \.css$ 10 50% 60 reload-into-ims
refresh_pattern -i \.js$ 10 50% 60 reload-into-ims
refresh_pattern -i \.xml$ 10 50% 30 reload-into-ims
0803名無しさん@お腹いっぱい。
2010/10/27(水) 19:29:45>801ではないが pipeline_prefetchは 勉強になった
0804名無しさん@お腹いっぱい。
2010/10/27(水) 20:27:310805名無しさん@お腹いっぱい。
2010/10/27(水) 21:40:42ご参考まで
refresh_pattern -i .css$ 1440 50% 2880 ignore-reload
refresh_pattern -i .js$ 1440 50% 2880 ignore-reload
refresh_pattern -i .xml$ 1440 50% 2880 ignore-reload
0806名無しさん@お腹いっぱい。
2010/10/28(木) 00:04:37>>805
ignore-reloadとreload-into-imsの違いは何でしょうか?
0807名無しさん@お腹いっぱい。
2010/10/28(木) 02:47:55refresh_pattern -i \.(gif|png|jpg|jpeg|ico)$ 10080 90% 43200 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.css$ 1440 90% 2880 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.js$ 1440 90% 2880 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.xml$ 1440 90% 2880 ignore-reload ignore-no-cache ignore-private
refresh_pattern -i \.index.(html|htm)$ 0 40% 10080
普通に速い
0808名無しさん@お腹いっぱい。
2010/10/28(木) 08:27:51Firefoxで network.http.proxy.pipelining を使わないで代わりに
network.http.max-persistent-connections-per-proxy
の値をおもいきし増やす*とサクサク感が増したかも。
(* network.http.max-connectionsの値と同じにしちゃう)
(鯖とは有線LAN接続。無線経由だと勝手が違うかも)
>>802
形はそんな感じで。
min max は単位が分なので対象のコンテンツの更新頻度を勘案してもっと大きくして良いと思いますよ。
オイラはTumblrやFlickrを良く巡回するので画像なんかはかなり強めのキャッシュ設定にしてまふ。
>>806
公式
http://www.squid-cache.org/Versions/v2/2.7/cfgman/refresh_pattern.html
日本語
http://www.itmedia.co.jp/enterprise/articles/0812/01/news024.html#blue
0809名無しさん@お腹いっぱい。
2010/10/28(木) 10:31:28いまいち分からないけど
reload-into-imsよりignore-reloadのほうが画像コンテンツに合ってる気がする…
それとも組み合わせても悪くもなさそうな…
0810名無しさん@お腹いっぱい。
2010/10/28(木) 11:10:50refresh_pattern -i \.(gif|png|jpg|jpeg|ico)$ 10080 90% 43200 reload-into-ims ignore-reload ignore-no-cache ignore-private
■ このスレッドは過去ログ倉庫に格納されています