【uma作戦】2ch特化型サーバ構築作戦 Part3
■ このスレッドは過去ログ倉庫に格納されています
0001root ★
03/11/05 16:36ID:???oyster173: news6.2ch.net / mnewsplus
oyster174: life3.2ch.net / diet, fashion, female, kankon, live
oyster175: news5.2ch.net / newsplus
oyster176: bbq.2ch.net / BBQ/BBXシステム用
oyster132: qb3.2ch.net / operate, sec2ch, sec2chd
oyster133: gamble2.2ch.net / gamble, keiba, mj, pachi, slot
oyster134: tmp2.2ch.net / これから作業
前スレ: http://qb3.2ch.net/test/read.cgi/operate/1062137886/
ヾ(・∀・)人(・∀・)ノナカーマ
0713● ◆K2.oyster.
04/01/05 01:15ID:M/TffAEC0714動け動けウゴウゴ2ちゃんねる
04/01/05 01:22ID:RJeHGCkL0715h009.p996.iij4u.or.jp@仕事人 ★
04/01/05 01:27ID:???0716root ★
04/01/05 01:28ID:???だれか、IIJ4UのDNSサーバを使ってるひとが、
tv4.2ch.netという名前がないうちに、その名前にアクセスしたのでしょう。
ネガティブキャッシュがクリアされるまで、数時間待つしかないということで。
0717○ h020.p049.iij4u.or.jp ◆AV.oyster.
04/01/05 01:29ID:M/TffAEC0718root ★
04/01/05 01:30ID:???ipconfig /flushdns
を実行してみるといいかもです。>>715
0719動け動けウゴウゴ2ちゃんねる
04/01/05 01:30ID:CkELSYKX>>717
あら?
0720動け動けウゴウゴ2ちゃんねる
04/01/05 01:30ID:GZEehPpyさすがに、二つのDNSサーバーですべてこなせるわけじゃあないので
地域やネットワークの区切りにあわせて、DNSもあるんでしょう
0721h009.p996.iij4u.or.jp@仕事人 ★
04/01/05 01:32ID:???やってみたけど駄目だった。
明日以降にしまーす。
music3 はあとどうするのかな?
tv4 は tv->tv4 , tv 引退の線で
0722root ★
04/01/05 01:34ID:???> music系
> tvに行っているのを戻しますか、
ということらしいす。
0723動け動けウゴウゴ2ちゃんねる
04/01/05 01:34ID:RJeHGCkLmusic鯖の7板を全移転・・・
0724動け動けウゴウゴ2ちゃんねる
04/01/05 01:36ID:jw2iHb1rmusicにある板移転して、
music退役させてください。
0725動け動けウゴウゴ2ちゃんねる
04/01/05 01:36ID:M/TffAECごっそりいけるかと
0727とんすけ ◆MytskeE.Vg
04/01/05 01:38ID:nkhD0002すでに洋楽と芸能音楽速報はmusic3に動いてますよね。
0728h009.p996.iij4u.or.jp@仕事人 ★
04/01/05 01:39ID:???それだけだと思ったけど、
0729○ h020.p049.iij4u.or.jp ◆AV.oyster.
04/01/05 01:42ID:M/TffAECそれだけだと思います。
thatに音楽系の板がありますが。
演歌 http://that.2ch.net/enka/
ディスコ http://that.2ch.net/disco/
0730動け動けウゴウゴ2ちゃんねる
04/01/05 01:44ID:RJeHGCkLそれらは、板が成長して、大きくなったら移転だとおもったのだけど・・・
0731とんすけ ◆MytskeE.Vg
04/01/05 01:46ID:nkhD0002uma鯖だとmusicからの9板+tv3からの2板って大丈夫ですのかね。
0732動け動けウゴウゴ2ちゃんねる
04/01/05 01:47ID:jw2iHb1rどっちにしろ、music3鯖には収容できそうな感じですね。
http://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
0734h009.p996.iij4u.or.jp@仕事人 ★
04/01/05 01:51ID:???まだ小さい板は過保護なのだ。
bobbyがetcに移転の予感。 < that
0736○ h020.p049.iij4u.or.jp ◆AV.oyster.
04/01/05 01:59ID:M/TffAEC0737root ★
04/01/05 02:01ID:???tv3からmusic3にキャップをコピーしてあげる必要があるようです。
0738h009.p996.iij4u.or.jp@仕事人 ★
04/01/05 02:02ID:???どさっと上書きでいいのかしら?
0740h009.p996.iij4u.or.jp@仕事人 ★
04/01/05 02:16ID:???done
0741root ★
04/01/05 02:19ID:???ねんのため、バックアップもとりました。
キャップのバックアップとかも、ぼちぼち自動化を考えるかなぁ。
0742root ★
04/01/05 02:35ID:???本日はこれにて。
0743ラプター ★
04/01/05 11:44ID:???http://bg2.2ch.net/service.html
0744root ★
04/01/05 15:04ID:???tv4のread.cgiが古いやつだったので、
news5のやつ(トラックバック対応のもの)をコピーしておきました。
今後は最初に入れるパッケージのほうを入れ替えておかれるとよいかと思います。>仕事人さん
0745動け動けウゴウゴ2ちゃんねる
04/01/06 14:07ID:eQjhaGNZ0746動け動けウゴウゴ2ちゃんねる
04/01/06 17:36ID:NfkrlogK完了
0747動け動けウゴウゴ2ちゃんねる
04/01/06 18:20ID:eQjhaGNZ乙
0748動け動けウゴウゴ2ちゃんねる
04/01/06 19:10ID:eQjhaGNZ次はsports->sports6お願いします。
0749仕事人 ★
04/01/06 19:28ID:???0751動け動けウゴウゴ2ちゃんねる
04/01/06 19:34ID:eQjhaGNZsports budou boxing
sports3 k1 wres
sports6 sumou
0752某ソレ511
04/01/06 19:37ID:TSmqNcba□sports, ski, msports, kyozin, volley, boxing,
fish, bass, bicycle, f1, olympic, budou, golf, xsports
●sports3.2ch.net
□k1, mlb, sposaloon, wres
から>>751が移動?のこりのsports上の板はsports3移転ですかね?
まあ、sports3の格闘技系が移動するなら、結構余裕は出来る気がするけど。
たりないようならmlbがsports5移転もあるんですかね?
0753仕事人 ★
04/01/06 19:37ID:???これ以上分割できない、さらにもっと沢山の
要求(アクセス)をこなさなきゃいけない板をどうするかが
次の課題ですなぁ
1) 複数台で一板への挑戦
2) とてつもない強力なサーバでこなす(力技)
3) あきらめる
こんなとこですかねぇ
0754動け動けウゴウゴ2ちゃんねる
04/01/06 19:38ID:eQjhaGNZsports, ski, msports, kyozin, volley, boxing, fish, bass, bicycle, f1, olympic, budou, golf, xsports
biwa37.he.netは引退しないのですか?
0755動け動けウゴウゴ2ちゃんねる
04/01/06 19:43ID:eQjhaGNZhttp://www6.big.or.jp/~beyond/bbsnews/bbs-post-1.html
0756動け動けウゴウゴ2ちゃんねる
04/01/06 19:44ID:46e5L2qr5野球
4サッカー
3色々
……と、なるのかな?
0757某ソレ511
04/01/06 20:23ID:TSmqNcbaプロレス (12895)
格闘技 (4754)
ボクシング (1943)
武道・武芸 (1477)
相撲 (687)
sports3(19858→14661)
スキースノボ (2180)
野球総合 (2094)
自転車 (2046)
スポーツ (1979)
バレーボール (1480)
バス釣り (1205)
モータースポーツ (1143)
釣り (975)
アンチ球団 (717)
海スポーツ (208)
オリンピック (195)
ゴルフ (187)
xsports (137)
スポーツサロン (115)
ちなみに
sports4(16876)
国内サッカー (11716)
海外サッカー (5160)
sports5/live7(5739)※まあ、オフシーズンだし、、
プロ野球 (5411)
冬スポーツ (328)
野球ch (?)
0758動け動けウゴウゴ2ちゃんねる
04/01/06 20:27ID:hnTv0jMe1週間の方を使った方がいいと思うが。
http://www6.big.or.jp/~beyond/bbsnews/bbs-sum-7.html
0759動け動けウゴウゴ2ちゃんねる
04/01/06 20:28ID:KmxD8o5Nsports5は去年みたいな阪神フィーバーは数年内にしても、いっぱいいっぱいな気がするが。
いざとなったら、オリンピックをsports6に移転する可能性もあるので
この位でいいんじゃないの。
0761動け動けウゴウゴ2ちゃんねる
04/01/06 21:57ID:eQjhaGNZhttp://www.yomiuri.co.jp/sports/feature/athe_2004/schedule01/
0762root ★
04/01/06 22:03ID:???いずれは1)かなぁ。でも、まだできることはあるような気がする。
メモリを増やすとか、まだ2)の道もあると思いますね。でもIA86だとメモリ搭載量も限界があるし。
3)は、、、いやん。
個人的にはまだ、こういう道を探りたいなと。特に4)かな。
4) 新たな技術を導入して、さらなるチューニングを図る
5) 現システムのボトルネックになっているところに手を入れて、処理を軽くする
0763root ★
04/01/06 22:31ID:???ということだそうで。< news8
なんだか、まだがんがれそうな気がするです。
0764動け動けウゴウゴ2ちゃんねる
04/01/06 22:53ID:AyMYD1TT人語に訳するとどういう意味か聞くのはスレ違い?
0765動け動けウゴウゴ2ちゃんねる
04/01/06 23:05ID:0Cg4V6M7>collecting pv entries -- suggest increasing
これは分かるけど
>PMAP_SHPGPERPROC
これがサッパリ
約12件中1 - 8件目 ・検索にかかった時間0.13秒
でもワケワカンネ
0767某ソレ511
04/01/06 23:14ID:TSmqNcbaこんなことが書いてあった。
>PMAP_SHPGPERPROCの値を増やしてkernel再構築、さらにswap増やせ
>ば問答無用のkillはなくなると思います。
>それと、だいぶ前ですがfreebsd-current MLで多接続の高負荷マシ
>ンではPMAP_SHPGPERPROCを増やせとか何とか言っていたような気が
>します。(maxusersを増やしても可だったはず。)
だからたぶん、同時接続数に関係している値なんでしょうな。
0768動け動けウゴウゴ2ちゃんねる
04/01/06 23:18ID:bBI6E4+uって言うことで勝手に解釈してよろしいでしょうか
0770動け動けウゴウゴ2ちゃんねる
04/01/06 23:20ID:bBI6E4+u結局処理が遅くなって
処理待ちの人が溜まっていき
ハサーン
の悪寒
0771某ソレ511
04/01/06 23:24ID:TSmqNcbarootさんもがんばれる気がする、とか言ってるから、
増やしてもだいじょぶなんじゃないかな。
おいらはFreeBSDなんてまったくさわったことないから分からんけど。
0772動け動けウゴウゴ2ちゃんねる
04/01/06 23:52ID:pebqDsg/6)どうやらさんからゲームを取り上げて技術を習得させる
0773動け動けウゴウゴ2ちゃんねる
04/01/07 00:38ID:hdiNN3h5桁違いに遅いから効率悪いよな。
0774root ★
04/01/07 00:53ID:???swapすると負けなので、umaサーバはswapはしないようにしてるです。
/etc/sysctl.conf
# do not use swap area (it's slow)
vm.defer_swapspace_pageouts=1
vm.disable_swapspace_pageouts=1
で、これを調整すればいいのかな。デフォルトは200か。
/usr/src/sys/i386/i386/pmap.c
#ifndef PMAP_SHPGPERPROC
#define PMAP_SHPGPERPROC 200
#endif
LINTを見ると、こんなことが書いてあるなぁ。
/usr/src/sys/i386/conf/LINT
#
# Set the number of PV entries per process. Increasing this can
# stop panics related to heavy use of shared memory. However, that can
# (combined with large amounts of physical memory) cause panics at
# boot time due the kernel running out of VM space.
#
# If you're tweaking this, you might also want to increase the sysctls
# "vm.v_free_min", "vm.v_free_reserved", and "vm.v_free_target".
#
# The value below is the one more than the default.
#
options PMAP_SHPGPERPROC=201
0775root ★
04/01/07 00:55ID:???drasticとかpinchとか、いやんな単語が。
/*
* This routine is very drastic, but can save the system
* in a pinch.
*/
void
pmap_collect()
{
0776root ★
04/01/07 00:56ID:???0777やきーん ◆LBZUBURIYM
04/01/07 00:56ID:9rpa1org0778動け動けウゴウゴ2ちゃんねる
04/01/07 03:10ID:9om/BTRuテレビとかラジオとかに任せて。高アクセス要求時はスイッチからwww2に
自動的に飛ばせないのかなあ。
「えらー 人大杉です まず、テレビ、ラジオ、各種ニュースソースで状況を確認してください」
って追い返しちゃえば。キターは放置でいいでしょ。
0779● ◆HETAREzfq.
04/01/07 06:05ID:Lvy0Frq6※単に古くなって寿命が来たハードの交換の場合はガンダムの中に3鯖同居みたいになるんでしょうか?
※貧乏(PINK)orやる気がない(≒現状能力でも問題ない?)方面向けへの量産型モビルスーツの投入は全くないのでしょうか?
(Big-serverにおける次期Banana鯖(S-ATAHD使用)の投入とかは全くない?)
0780動け動けウゴウゴ2ちゃんねる
04/01/07 10:01ID:CWm+xOon>>774
ttp://www.freebsd.org/cgi/query-pr.cgi?pr=2431
これを見るといいかもです。ご存じならすみません。
潤沢にリソースがあるマシンだからmaxusersを増やすのが手っ取り早いかと。
NPROC=(20+16*MAXUSERS)
maxproc=NPROC
pv_entry_max=PMAP_SHPGPERPROC*maxproc+vm_page_array_size
0781動け動けウゴウゴ2ちゃんねる
04/01/07 10:48ID:jzjOiGkoパナップ問題と名づけましょう。
>780
やたらに増やすとそれはそれで
また鯖ごと落ちそうな
0782仕事人 ★
04/01/07 13:36ID:???とここまで分かったつもりをしてみる。
一回の処理が半分の時間ですめば倍こなせると考えていいんだろうか、
重い処理は
1) bbs.cgi 投稿
2) read.cgi 読み出し (r.i p.iも含む)
3) .dat .txt の読み出し
の順だと思うのだが
やはり
a) 携帯 (r.i p.i)からのアクセスは別サーバで処理
リアルタイム性を犠牲にして(10sec delay) .html で別サーバにて提供。
これはnews系でも使えるかも、
b) read.cgi のApacheモジュール化
これは他のumaサーバでも使える
仕組み的にはこれですかねぇ
やる価値とコストと期待値とそのへんとの兼ね合いですけど、
0783動け動けウゴウゴ2ちゃんねる
04/01/07 18:22ID:U240WMLYmaxusersの最大値は512なので増やしてもたいしたことないでしょう。
というかmaxusers は 512にしておけばいいのでは。
あとスワップしたら負けかもしれないけど、
落ちるよりはまし、ということで、
すべてのディスクにスワップをとってみるとか。
0784動け動けウゴウゴ2ちゃんねる
04/01/07 20:05ID:i005jcFChttp://qb3.2ch.net/test/read.cgi/operate/1067731439/298-299
298 名前:仕事人 ★ 投稿日:04/01/07 18:06 ID:???
etc2 ができたら entrance は ex から抜けるという予定であります。
ex も退役させなきゃ、
299 名前:仕事人 ★ 投稿日:04/01/07 18:07 ID:???
ありゃ また誤爆か、、、
0785root ★
04/01/07 23:02ID:???最終的には、そういうことになるのかな。
ちょうど、年末年始に携帯がつながりにくくなる(する)みたいな感じで。
でもまだ、最終ってかんじは、しないなぁ。
個人的には、新oyster(同じハードウェア)の10倍ぐらいのパフォーマンスを目標にしてるです。
今、たぶん4〜5倍ぐらいなので、今の倍ぐらいしぼりだせれば、チューニング屋としては
概ね満足かなと。
そうすれば、>>779にあるような感じで同居させるとか、sportsやliveを少なくするとかも
可能かな、なんて思っていたり。
0786root ★
04/01/07 23:07ID:???/boot/loader.conf
# added for 2ch
kern.maxusers=512
kern.ipc.nmbclusters=32768
kern.ipc.maxsockets=32768
>>780 にもあるように、静的に定義されている
PMAP_SHPGPERPROC を変えるしかないような気がするです。
0787root ★
04/01/07 23:09ID:???ざっくりいうと、そういうことになりますね。, 処理コストが半分なら2倍こなせる
a)やb)は、イナゴさん対策には効果ありそうですね。
あとは、bbs.cgiを軽くするためにmod_perlを入れるのが、一番即効性あるかも。(>>197)
0788root ★
04/01/08 00:01ID:???kern.vm.pmap.shpgperproc=2048
を、/boot/loader.conf に入れてみようかと。
とりあえず、news8で実験してみるかな。
こんなのもあった。
http://unix.derkeiler.com/Mailing-Lists/FreeBSD/performance/2003-06/0051.html
0789root ★
04/01/08 00:09ID:???これで、PMAP_SHPGPERPROC を200から2048にしたのと同じはず。
さて、どうなることやら。
0790動け動けウゴウゴ2ちゃんねる
04/01/08 00:12ID:72HZM0Ep0791動け動けウゴウゴ2ちゃんねる
04/01/08 00:19ID:zlq+QWxV0792動け動けウゴウゴ2ちゃんねる
04/01/08 00:19ID:SrXH2xKx0793root ★
04/01/08 00:23ID:???おっ。
>>791
http://qb3.2ch.net/test/read.cgi/operate/1072863044/217-218
でもgdb -kで見る限り、変わってないようにも見えるなぁ。ううむ。
0794root ★
04/01/08 00:26ID:???kern.vm.pmap.shpgperproc=2048
ではなくて
vm.pmap.shpgperproc=2048
でないといけない予感。
後で、再チャレンジしよう。
0795root ★
04/01/08 00:34ID:???0796動け動けウゴウゴ2ちゃんねる
04/01/08 00:47ID:vZj159drmod_perl化がベストな選択だと思います。
bbs.cgiとread.cgi/r.i(p.iも?)以外の他のcgiは
呼び出し頻度がずっと少ないと思われるので現行でも充分でしょう。
あと、apacheのmpmをマルチスレッド対応のものに変えるのはどうでしょう?
workerかperchildにすれば1プロセスで複数のリクエストをこなすので
apache自体のメモリ(アドレス空間)使用量は減らせると思います。
で、read.cgi/r.iなんですが、私の手元に
・公開されているread.cgiを元に(変更部分とr.iの動作は推測で)
・.datの中身と中間加工したものをキャッシュして同一プロセスなら再利用
・その他いくつか機能追加
して、apache2用のモジュールを作ってみたものがあるのですが、
もし、read.cgiの時のように共同開発という形がとれるのであれば
叩き台として提供できるかな、とも考えているのですがいかかでしょう?
trackback対応はしてませんが、現状でも組み込んでLoadModule+SetHandlerするだけで
現行のread.cgi/r.iに近い動作をしてくれると思います。
0797root ★
04/01/08 00:52ID:???こんどは、ちゃんと増えたみたい。
(news6)
(kgdb) print pv_entry_max
$1 = 2166663
(news8)
(kgdb) print pv_entry_max
$1 = 8933351
0798動け動けウゴウゴ2ちゃんねる
04/01/08 00:54ID:zlq+QWxV開発系の話はこちらですー
bbs.cgi再開発プロジェクト2
http://qb3.2ch.net/test/read.cgi/operate/1069144193/
0799root ★
04/01/08 01:10ID:???モジュールのたたき台ですか。すばらしいです。
今のものとのマージとか、どうしましょう。>仕事人さん、関係者
で、開発系といういみでは微妙すね。ちょうど、境目かも。
もしほんとにモジュール化が軌道に乗るなら、bbs.cgiとは別スレがいいような気も少し。
0800root ★
04/01/08 01:12ID:???%httpd -V | grep MPM
-D APACHE_MPM_DIR="server/mpm/prefork"
を、server/mpm/workerかserver/mpm/perchildに変えるということすね。
パフォーマンス的にはpreforkも含めて、どれがいいのかしら。
0801動け動けウゴウゴ2ちゃんねる
04/01/08 05:52ID:vodURly/・apacheのmoduleはstaticビルドのほうが数%ほど高速
・FreeBSD4.9Rのapache2はportsからインストールしている? その場合のWITH_MPMとかWITH_THREADSとかは?
0802動け動けウゴウゴ2ちゃんねる
04/01/08 05:59ID:vodURly/http://silverwraith.com/papers/freebsd-tuning.php
とか
0803root ★
04/01/08 14:11ID:???デフォルトのportsです。WITH_SUEXEC=yes SUEXEC_DOCROOT=/homeだけ。
だから、Apacheはまだチューニングの余地がかなりあるはず。
ということで、WITH_MPMとかWITH_THREADSとかは、まだ開拓の余地ありです。
でなきゃ、今の倍はいけるとか軽々しくいわんです。
>>802
これはかなり参考になりそうすね。
0805仕事人 ★
04/01/08 14:26ID:???回線使用料ではなく毎月のサーバの維持費です。
つまり 毎月 $300.00/台 とかという維持費がかかっていて
これがほとんどを占める状況になりつつあります。
簡単にいえば台数は少なければ少ないほうがいい。
サーバ買うのは一回こっきりのイニシャルコストです。
今後の予想としては、
2002年3月から始まったオイスター作戦の枠組みが
現状に照らし合わせてみてだんだんいびつになってきている。
近々、その枠組み(支出の方)を変更しなきゃ ってとこです。
管理人へもその状況は説明してあります。
春か、夏か、、、そのへんだと思いますー。
0806● ◆HETAREzfq.
04/01/08 16:04ID:XexGBBdhラック代にもメスを入れるのですか。
ところで、root権がない既存の鯖に後付けでroot権を付けるとすればいくらかかるんですか?
もし安い値段でそれが出来るんなら新oysterを全部uma化して耐性うpを計って台数減らしに着手したらどうでしょう?
(そうすれば新鯖導入なしで非oyster鯖を全部退役させられるかも)
仮にそれをやるとして、玉突き式に次々とやるとすれば空の臨時ハードが1台必要になるかもですが。
(news8とかの余裕のある?uma鯖に臨時移転とか)
0807仕事人 ★
04/01/08 16:08ID:???なぜなら、経年疲労がたまっているから
故障発生率が上がる。
とくに HD & PowerSuply 、
0808動け動けウゴウゴ2ちゃんねる
04/01/08 16:20ID:aFsZTOdXどこに割り当てるかを考えるのも面倒だしさ。
日常的に過負荷で落ちるようになるまで放置で。
0809● ◆HETAREzfq.
04/01/08 16:35ID:XexGBBdhoyster14以降の鯖は古くても姿形はuma鯖とそっくりなのになんかもったいないなぁ。
rootなし新oysterは20台ぐらいあるからこれの処理能力が2倍になれば、と思ったんだけど。
0810仕事人 ★
04/01/08 16:39ID:???そうなんだけど、、、、
それを誰がやるのかと、
そういえばまだsportsの移転終わっていなかった。。。
その置き換えを全部やるのに二年くらいかかりそう
0811● ◆HETAREzfq.
04/01/08 16:51ID:XexGBBdh移転ラッシュでおつかれのようで、、、
とりあえずあまりお金がかからないようでしたら新鯖導入がない月限定で
ちょっとづつでも、、(新しい新oysterから順番に、とか)
0812● ◆HETAREzfq.
04/01/08 20:12ID:XexGBBdh・半年、一年等期限を区切ってroot化をやる
(一年も経てばの次の鯖を考える頃でしょうし)
・新oysterを2つ持っていて旧oyster等の古い鯖もある板系統の鯖をroot化する
(hobby系とsports系?能力2倍で旧oyster鯖廃止出来る!?)
・live系opteron鯖移行時にdatを保存庫送りにしてroot化をし、おさがりをどっかに割り当てる
■ このスレッドは過去ログ倉庫に格納されています