bbs.cgi 再開発ﾌﾟﾛｼﾞｪｸﾄ

◆Chacha.PkA · 03/05/16 15:51

read.cgi の作り直しや、2ch 特化型ｻｰﾊﾞの構築など、
一連のﾌﾟﾛｼﾞｪｸﾄに並行する形で bbs.cgi の作り直しﾌﾟﾛｼﾞｪｸﾄも発足です。

http://qb.2ch.net/test/read.cgi/operate/1047840578/287-319

参考 >>2-5

◆Chacha.PkA · 03/05/16 15:51

関連ｽﾚ
■　新しいサーバで read.cgi が正しく動かない問題。
http://qb.2ch.net/test/read.cgi/operate/1047840578/
2ch特化型スペシャルサーバ構築大作戦
http://qb.2ch.net/test/read.cgi/operate/1052923573/
２ちゃんねる専用DNSサーバ関連スレ
http://qb.2ch.net/test/read.cgi/operate/1052479294/

**名無しさん＠お腹いっぱい。** · 03/05/16 15:52

319 名前：BG ★[sage] 投稿日：03/05/16 15:38 ID:???
　まずは基本思想からだから
　この板に別スレッドでのんびり話し合って行くっていうところでしょうか、

　1) 基本思想
　2) 基本設計
　3) 詳細な設計　→　モジュール別にコード書き
　　　(ここでさまざまな方法が試される、連投規制とか)
　4) 組み上げ
　5) テストー

　ってな流れになるのでしょうか。

◆rafale0Mno · 03/05/16 15:54

関連スレ
■　お手伝いさん募集中。。。
http://jbbs.shitaraba.com/computer/bbs/read.cgi?BBS=2095&KEY=1050545010

★ read.cgi 作り直し大作戦～愛は2chを救う～
http://jbbs.shitaraba.com/computer/bbs/read.cgi?BBS=2095&KEY=1051177958

◆Chacha.PkA · 03/05/16 16:05

315 名前：BG ★[sage] 投稿日：03/05/16 14:37 ID:???
　んじゃ案を

　案 ver0.001

　main()
　{
　SETTING.TXT 読み込み();
　規制関連();
　datに追記();
　subject.txt更新();
　/*subback.html更新();*/
　}

まずはこんな感じに、bbs.cgiの処理に関する案を出して頂きたいです。
または、それに関するｺﾒﾝﾄなどもお願いします。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 16:49

記念。どんどん増えるプロジェクト(以下略。

**名無しさん＠お腹いっぱい。** · 03/05/16 16:56

二兎を…（以下自粛

**BG ★** · 03/05/16 16:57

虻蜂・・・(以下自粛

**名無しさん＠お腹いっぱい。** · 03/05/16 17:08

ぐぅ、即レスが飛んできてる。
水を差して、正直スマンかった。

◆rafale0Mno · 03/05/16 17:14

しかし優先順位は決めておいたほうがいいかも。

◆Kinen/LLFY · 03/05/16 17:14

下手な鉄砲数打ちゃ（ｒｙ

**名無しさん＠お腹いっぱい。** · 03/05/16 17:20

優先順位とは、他のプロジェクトとの比較で？
被るのはread.cgiプロジェクトぐらいかな。

**名無しさん** · 03/05/16 18:11

優先順位？何の？誰の？
サーバ構築が好きな人はサーバスレ行けば良いし、
read.cgiが好きな人はread.cgiスレ行けば良いし、
bbs.cgiが好きな人はここで開発してれば良いし。
やりたい人がやりたい事をやれる範囲でやるだけじゃん。
全部やれなんて誰も言ってないでしょ。

**名無しさん＠お腹いっぱい。** · 03/05/16 18:17

開発言語はCなんですか？Perlじゃなくていいの？

**名無しさん＠お腹いっぱい。** · 03/05/16 18:26

どうやらさんが弄れなくなっても大丈夫？

**ぼるじょあ** ◆yEbBEcuFOU · 03/05/16 18:30

（・３・）　エェー　ぴろゆきってC読めるNO～？

**BG ★** · 03/05/16 18:30

>>15
このさい、その方が・・・ (以下自粛

proxy117.docomo.ne.jp · 03/05/16 19:03

携帯関連で書けない人とか、どうやらさんに救済してもらった（最近だと味ぽん）こと考えると、
一携帯ユーザとして、どうやらさんがいじれなくなるのは痛いですな。

**名無しさん＠お腹いっぱい。** · 03/05/16 20:16

>>13
bbs.cgi内で何を優先するかじゃないか？

で、神のbbs.cgiの作者はどこ行った…？

03/05/16 20:30

bbs.cgiの負荷ってI/Oがほとんどだから、
Cだろうとperlだろうと対してパフォーマンスは変わらない気がしてるおいら、、
アルゴリズム自体が変わるのであれば、劇的に変わるかもしれませんが、、、

**名無しさん＠お腹いっぱい。** · 03/05/16 20:33

最近ひろゆきを見かけないな

03/05/16 20:35

志村うしろー。

**名無しさん＠お腹いっぱい。** · 03/05/16 20:36

＞19
現行バージョンを作った人はつい最近引退しました

◆Chacha.PkA · 03/05/16 20:42

ではI/Oに関して、何を残して、何を除外するかと言うのが最初の課題でしょうか。

1) SETTING.TXT (R)
2) プロ串等の規制。　(R)
3) xxxxxxx.dat 読み込み　(R)
4) xxxxxxx.dat 追記 (W)
5) log/xxxxxxxx.dat にも追記 (W)
6) subject.txt 読み込み (R)
7) subject.txt 書き出し (W) (tmp作ってrename unlink かも知れない)
8) subback.html 読み込み (R)
9) subback.html 書き出し (W)
10) i/index.html 更新　(W)
11) index.html 更新　(W)
12) xxxxxxx.html 読み込み　(R)
13) xxxxxxx.html 書き出し　(W)

**BG ★** · 03/05/16 20:42

>>20

1) I/O
2) リモホ look up
3) 正規表現をつかっての比較しまくり

が主要負荷(処理?)かと。

**名無しさん＠お腹いっぱい。** · 03/05/16 20:45

＞22
Σ(ﾟДﾟ；≡；ﾟдﾟ)

本人に突っ込まれてしまったここほんとに２ｃｈなんだろうかｗ

03/05/16 20:49

アクセス規制系がでかいんですよね。

＞2) リモホ look up
＞3) 正規表現をつかっての比較しまくり

アクセス規制を別サーバにするってのを考えていたりします。
ポートチェックがしなくてすむように、、

**名無しさん＠お腹いっぱい。** · 03/05/16 20:54

/html って必要なんでしょうか？
index.html　を読み込んで再利用すれば、かなりHDヘッドシークも減ると思うんですが。
ついでに、head.txt とか広告関係も再利用できるのでファイルアクセス回数は減ると思います。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 20:56

>>20
Perlだと、最初の起動コストがでかいすね。
特に連想配列とか使ってると。起動してしまえば軽いですが。

あと、system() や ` ` でのプロセス起動はコストが大きいので、
できるだけ使用を控える方向がいいかも。
できるだけライブラリ使うか、どうしてもプロセス起動が必要な時もsystem()は
使わないようにする方向で。

>>22
lookupはDNSがうまく動けば(って私かぁ)それなりになんとかなるか。

比較しまくりは、比較(マッチング)アルゴリズムを工夫するとか、>>27 みたいに
別サーバを立てるとか、でかいテーブルがあるならリニアサーチじゃなくて
ハッシュしてみるとかか。

# 今午後2時前。ちょっとお疲れモード。

03/05/16 20:56

/htmlの中には、index.htmlに表示される各スレッドの書きこみ10個分のテーブルが
スレッドごとにファイルとして入ってます。
http://qb.2ch.net/operate/html/1047840578.html

03/05/16 20:58

proxy制限のマッチングが、ひたすらリニアにやってるんで、
そこらへんのマッチングのアルゴリズムをperlでやってる例とかあればいいんですが、、、

**ぼるじょあ** ◆yEbBEcuFOU · 03/05/16 21:04

（・３・）　エェー　ひとつ知りたいんでつが、書き込みが集中すると bbs.cgi のプロセスが
　　　　　同時にいくつも起動されている状態になるんでしょうかNE？

**BG ★** · 03/05/16 21:06

top で見ていると
bbs.cgi が数十(100は行っていないかな)見えます。
同様に　read.cgi , r.i も沢山起動されています。　

#以上 live5 サーバ内からお送りいたしました。

**名無しさん＠お腹いっぱい。** · 03/05/16 21:07

＞各スレッドの書きこみ10個分のテーブルが
これとほぼ同じ物が、index.html内に有ると思うんですけど
index.htmlを丸ごと読み込むので、メモリ効率は悪くなるんですけどね。。。

03/05/16 21:12

index.htmlは読みこまないですよ。。。
index.htmlをつくるために、各スレッドの書きこみ10個分のテーブルをくっつけてるわけです。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 21:14

>>31
でかいテーブルを上からなめてるってことすか。
お手軽にやるなら、DB_File (Perl5系なら標準装備)とかかな。
これで、データベースがハッシュ化されるので、テーブルがでかいなら
高速化とコスト低下が見込めるかと。

ちょっとぐぐると、こんなのが。
私はプログラミングはプロじゃないので、参考ということで。
こっち方面はもっとくわしい人がいっぱいいる気がする。

http://member.nifty.ne.jp/hippo2000/perltips/db_file.htm
http://www.hotwired.co.jp/webmonkey/code/97/37/cgi.html
http://www15.xdsl.ne.jp/~vfr/debian/old/cgiperl.shtml

**名無しさん＠お腹いっぱい。** · 03/05/16 21:17

運営板のindex.htmlには20個のスレが表示されてるけど
**********.ｈｔｍｌを20個読み出して作ってるの？

03/05/16 21:21

＞でかいテーブルを上からなめてるってことすか。
そですー。

DBを使うとサーバに依存しそうなので、
出来ればさけたかったんですが、
DB_Fileだとperl5がインストールしてあれば、
必ずあるんですか？

>>37
そです。

◆Chacha.PkA · 03/05/16 21:22

>>34
index.html内のものは、
BBS_THREAD_NUMBERで設定されている個数分のﾃｰﾌﾞﾙしかないですよね？
下のほうのｽﾚが上がったときは、datからBBS_CONTENTS_NUMBER分のﾃｰﾌﾞﾙを作って、
一番古いﾃｰﾌﾞﾙ削除→新しいﾃｰﾌﾞﾙ追加
という風にすると？

**名無しさん＠お腹いっぱい。** · 03/05/16 21:23

説明がへたくそでごめん(´･ω･`)

index.html 内にある各ｽﾚｯﾄﾞの表示部分をそのまま使えばいいんじゃないかと
/html は使わずに、代わりにindex.htmlを使う。

うまく説明できない｡･ﾟ･(ﾉД`)･ﾟ･｡

03/05/16 21:27

テーブルは削除してないです。
毎回、呼ばれるdatに対応したhtmlがよばれてはっつけられてます。
>>39

index.htmlは時々ぶっ壊れるんですが、
書きこみをすれば直るという方法で、
ほとんどのユーザーは気づいてないんです。
なので、index.htmlは参照するにはちょっと安定性にかけてたり、、、

**名無しさん＠お腹いっぱい。** · 03/05/16 21:27

>>39
そうです～
書き込みスレッド以外は、変化しないわけですか。

＃難しいな説明するのって(´･ω･`)

**名無しさん＠お腹いっぱい。** · 03/05/16 21:30

>>42
http://www.bq--3ayiomcfao4tbgzqq4.to/www/project/youjyo/hacker/hajihac/
の下の方にある「index.html高速化」ってことだね。

◆Chacha.PkA · 03/05/16 21:33

>>41
そうなんですよね、
一度壊れてしまうと、修正が自動に聞かないところが大変なんですよね…
＞毎回、呼ばれるdatに対応したhtmlがよばれてはっつけられてます。
となると、BBS_THREAD_NUMBERが100とかの板で、回転が速いと、
物凄いI/Oになってますね。
例えば、sageのレスがされたときは、
**********.htmlを更新しないとかは付け焼刃でしょうか。

◆Chacha.PkA · 03/05/16 21:34

>44
ああ、これじゃだめですね。

**名無しさん＠お腹いっぱい。** · 03/05/16 21:35

index.htmlが壊れた時は、</html>が消えるので検知できるとおもうです
その時は現状と同じように作り直せば？、、、ってだめかな(;･∀･)

>>43
ですね近いです。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 21:35

>>38
もちろん、システム側にBerkeley DBが入ってることが条件すね。
最近のLinuxディストリビューションならあるでしょう。
もちろんBerkeleyっていうぐらいで、*BSDなら必ず入ってる。

% perldoc DB_File

ってやってマニュアルが出力されれば、少なくともモジュールは入ってますね。

**BG ★** · 03/05/16 21:39

perldoc DB_File

DB_File(3) User Contributed Perl Documentation DB_File(3)

NAME
DB_File - Perl5 access to Berkeley DB version 1.x

SYNOPSIS
use DB_File;

[$X =] tie %hash, 'DB_File', [$filename, $flags, $mode, $DB_HASH] ;
[$X =] tie %hash, 'DB_File', $filename, $flags, $mode, $DB_BTREE ;

03/05/16 21:41

sageであっても、index.htmlに表示されてるので、
*.htmlは更新の必要があります。
そのかわり、sageの場合はsubject.txtは更新してませんが、、>>44

index.htmlを.htmlなしで再構成すると、
10個のdatを全部読みこんで構成しなおすので、壊れる頻度によると思います。
*.htmlの仕組みだと、読みこみの回数は増えますが、
index.htmlよりも読む量も処理量も少なくてすみます。
index.htmlを読みこんで、解析するよりも、
はっつけるだけのほうが処理量は少ないわけで、、

www.2chとかふるいのにもDB_Fileは入ってました。
いけそうな予感。。

**名無しさん＠お腹いっぱい。** · 03/05/16 21:49

sageでもレス数があるからsubject.txt更新してない？。。

**名無しさん＠お腹いっぱい。** · 03/05/16 21:51

http://katharsis.s20.xrea.com/bbs/ta/type_a/

説明があれなんで貼っちゃいます、勉強がてら造ってたものです
解析と言うより、分割ですね。。。
ｿｰｽを見てください、区切りを入れてあります。

で、内部処理よりもI/O処理の方が負荷が高いと思うんですが・・・

＃素人が口を出すもんじゃない事がよくわかった(´･ω･`)

**名無しさん＠お腹いっぱい。** · 03/05/16 21:51

なんでどうやらさんが真面目なこと言ってるんだ？

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 21:51

>>48 >>49
こんなサンプルプログラムがエラーなく動けば、たぶんいけるでしょう。
以下、http://www.itssg.ox.ac.uk/conference/2001/presentations/perl-itssg.html
から抜粋。

--- cut ---
#! /usr/local/bin/perl

use DB_File;

$db = '/tmp/userstats.db'; # where data is kept between runs

tie(%db, 'DB_File', $db) or die "Can't open DB_File $db : $!\n";

if (@ARGV) {
if ("@ARGV" eq "ALL") {
@ARGV = sort keys %db;
}
foreach $user (@ARGV) {
print "$user\t$db{$user}\n";
}
} else {
@who = `who`; # run who(1)
if ($?) {
die "Couldn't run who: $?\n"; # exited abnormally
}
# extract username (first thing on the line) and update
foreach $line (@who) {
$line =~ /^(\S+)/;
die "Bad line from who: $line\n" unless $1;
$db{$1}++;
}
}
untie %db;

03/05/16 21:51

昔はsageの場合は無視してたんですが、
最近は更新してるかも、、、というかここらへんは
誰がさわってたのかもよくわかってなかったり。

◆Chacha.PkA · 03/05/16 21:53

>>49
丁寧な解説ありがとうございます。
実は /html は現在使わせて頂いているので、
廃止になるとちょっと困った所だったんです。

ところで、*********.htmlは、追記で処理されていますか？
それともdatから作り直していますか？
以前bbs.cgiでhtmlを生成して、read.cgiの負担を減らすという試みがあったような気がしまして、
それなら、ｽﾚｯﾄﾞ全体をhtml化というのも考えられなくはないかと…

**7M.** ◆dq7M./4Uw. · 03/05/16 21:53

>>54
確かに昔は更新されてませんでしたねぇ。

03/05/16 21:56

datの書きなおしがあったときに、
.htmlはつくりなおしてます。

じつは、sports2で、read.cgiをつかわないで、
全部html表示にしちゃうという実験をしようかと思ってたりしてるんですが、
面倒なのでそのまんまになってます。。。

**サザン** ◆IDaU21y6wI · 03/05/16 21:57

おもしろそうだ。

>>57
やっちゃえー、

03/05/16 21:57

んじゃ、つくってください。。。＞サザンさん

**7M.** ◆dq7M./4Uw. · 03/05/16 21:59

ふむ。。。
書き込みがあったスレッドの吐き出し部分をdatからhtmlにするのか。
やってみていい？（おいらのスクリプトでだけど。

**サザン** ◆IDaU21y6wI · 03/05/16 21:59

お、そんなこと言われると本気になったり。。

**7M.** ◆dq7M./4Uw. · 03/05/16 22:01

>>61
あ、そう？ぢゃ、任した…（逃

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 22:02

実際のプログラミングは、たぶん >>60-61 の方々がサポートしたほうがよさそうすね。
私は「こんなモジュール使えばいいんじゃないの」とか
「こんなふうにすれば負荷下げられるんじゃないの」って言うのがせいぜい。

**サザン** ◆IDaU21y6wI · 03/05/16 22:04

>>62
いやいやいや、みなさんで一緒にやりましょーヽ（´ー｀）ﾉ

**BG ★** · 03/05/16 22:04

結構懐疑的な私。。。
枝葉より思想の議論が先だと思うけど。

>>3 の 3) の話かな、この辺の議論は。

#じじぃがでしゃばってみました。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 22:09

>>65
じじぃその2も同意すね。

・要求条件と最終目標を明確にして
・実現するためにはどういう形にすればいいのかを考えて
・中身を詰めて
・合体させて
・動かす

っていうのは、やはり王道かと。

03/05/16 22:10

司会ががんばらないと、、、＞BGさん

**BG ★** · 03/05/16 22:11

うっ

#歌でも歌いますか。

◆Chacha.PkA · 03/05/16 22:12

ｵｰﾌﾟﾝｿｰｽでわいわいやるのがいいかもですねー　>>64
私も微力ながらお手伝いできるかもしれませんし

03/05/16 22:15

個人的には、DBを使わないで、perlで検索をするアルゴリズムを誰かに書いてほしい。。。

**BG ★** · 03/05/16 22:19

まだ始まったばかりだから、当面わいわいがやがややるとして
現状の把握って言うのもきっと大切だろうから
どんどん管理人に聞いて見るのが良いのかな。

わたしも知っているところは答えられると思います。

現状の認識という点では、
live , ex 系を除いては、まぁまぁ資材の投入でカバーできているんだと思います
live , ex 系は突然の負荷上昇のある板が集まっています。
ピーク時に合わせて資材の投入はあまりにも無駄なので
なんとか別の方法でというのがこれら関連議論がスタートした動機です。

**ぼるじょあ** ◆yEbBEcuFOU · 03/05/16 22:19

（・３・）　エェー　高速処理を要する部分をCで書いて、ライブラリ化しておいて、
　　　　　それをメインルーチンである Perl から関数としてコールするって事は
　　　　　できるんでしょうかNE？

**名無しさん＠お腹いっぱい。** · 03/05/16 22:21

>>70
現在のその部分のﾙｰﾁﾝ、公開できます？

**サザン** ◆IDaU21y6wI · 03/05/16 22:22

おいらも色々教えてもらったので、答えられる事には答えたいと思いますー、

03/05/16 22:23

>>73

open(PHOST,"<$pxck");
my @PIP = <PHOST>;
close(PHOST);
foreach(@PIP)
{
chomp($_);
if($HOST =~ /$_/i)
{
Error("ＥＲＲＯＲ！","公開ＰＲＯＸＹを使っているかアクセス規制です！！");
}
}

**名無しさん＠お腹いっぱい。** · 03/05/16 22:23

>>72に関して、やっぱりperlの方がメンテナンスなどの面で良いですかね？　>>70

**名無しさん＠お腹いっぱい。** · 03/05/16 22:23

while(<串リスト>)
{
chomp;
if(書き込み野郎のホスト eq $_){ print "お前は書き込めネーヨ"; }
}

これで、ええんじゃないかい。

**BG ★** · 03/05/16 22:24

>>70
に関連して言えば、
現状、公開プロキシ規制とアクセス禁止を一本でやっているのが
負荷を増大させる原因だと思っています。

なぜなら、すべての投稿の 90%が普通のメジャーな ISP からなんですね、
一度ニュー速で調べてみたんですけど、
すべての投稿について、プロ串規制のテーブルを
なめまわすという動作です。ほとんどの場合やらなくてよい作業をしているですよ。

スキップすべきかと、

03/05/16 22:24

Cで速くなるんなら、それでもいいと思いますー。

**7M.** ◆dq7M./4Uw. · 03/05/16 22:25

open(PHOST,"<$pxck");
foreach(<PHOST>)
{
chomp($_);
$HOST =~ /$_/i and Error("ＥＲＲＯＲ！","公開ＰＲＯＸＹを使っているかアクセス規制です！！");
}
close(PHOST);
こっちのほうが若干早い…かもしれない。

03/05/16 22:25

どうやってスキップさせるか、、ってのが
なかなか難しいわけで、、、

◆Chacha.PkA · 03/05/16 22:26

>>77
eq だと、地域限定とかができないから、どうしても /$_/i になってしまうかと思います…

**7M.** ◆dq7M./4Uw. · 03/05/16 22:27

>>81
めぢゃーなISPっぽい名前がホストに入ってたらすきっぷ…
とか？
でも串規制とアクセス規制が一緒なのか…

**BG ★** · 03/05/16 22:27

「C 読めますカー」と聞いたら

「右」と答えたのは・・・・・

03/05/16 22:27

うーんと、、書き方で微妙に速くなるのはわかるんですが、
foreach(<PHOST>) でリニアにやってる部分を
なんらかのソート手段でできるといいなぁ、、と。

◆Chacha.PkA · 03/05/16 22:27

>>75
この処理は、ﾎﾟｰﾄﾁｪｯｸをｸﾘｱしたﾎｽﾄに適用されているのですか？

**BG ★** · 03/05/16 22:27

んで、分離すべきかと、　>>83

**7M.** ◆dq7M./4Uw. · 03/05/16 22:28

>>85
んむ。
そうゆうことですか。。。

**サザン** ◆IDaU21y6wI · 03/05/16 22:28

>>84
ﾜﾗﾀ

bg3 が実験板になる予感。。
というかなります。

03/05/16 22:28

＞めぢゃーなISPっぽい名前がホストに入ってたらすきっぷ
一応やってたり。。。

◆Chacha.PkA · 03/05/16 22:28

>>85
例えば、ﾌﾟﾛｷｼﾘｽﾄを、最初の頭文字で別ﾌｧｲﾙにしてみるとかどうですか？

**BG ★** · 03/05/16 22:29

>>86
ポートチェックの方がコスト高いから
ポートチェックはそのあとかと、もう少し条件絞られているはず。

03/05/16 22:29

>>86
ポートチェックはそのあとです。
そこで引っかかれば、ポートチェックしないです。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 22:30

>>75
ひゃー、単純リニアサーチでexact matchってことかしら。

で、$pxckって今何行ぐらいすか?
ざっくりで100行以上あるようなら、間違いなく DB_File 使ったほうがいいです。

03/05/16 22:30

jpとjp以外で別ファイルにしてますです。＞プロキシリスト

03/05/16 22:31

1000行ぐらい、、、>>94

**名無しさん＠お腹いっぱい。** · 03/05/16 22:31

>>95
もうちょっと細分化してみてはどうなの？

**7M.** ◆dq7M./4Uw. · 03/05/16 22:32

>90
うーん。。。そうなのか。、

**ぼるじょあ** ◆yEbBEcuFOU · 03/05/16 22:32

（・３・）　エェー　ボクはCはわかるけど、Perlは和漢ないんですYO
　　　　　Cで作る部分は、汎用的で、将来に渡って仕様が変わらないと思われる処理部分を作るべきかと。
　　　　　正規表現のマッチング処理なんかも、Cの方が早ければCで書いたほうが
　　　　　いいかなと思ったんですYO
　　　　　

**BG ★** · 03/05/16 22:32

>>90
現状、そうでもないような気がしたけど、
最新の見てないので、分かりませんが。

ほとんどの書き込みが普通の書き込みだから
本当はなにもしない方が良い。

1) プロ串のリストとのマッチング
2) リモホのルックアップ(ちょっと微妙かな)
3) ポートチェック

**BG ★** · 03/05/16 22:34

わたしゃ
全部Cをたくらんでいたりして、
あわよくばmod_bbs.cgi

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 22:35

とっても簡単にいうと、>>91 のようなことをシステム内でもっとうまくできるのが、
DB化ってことすね。
あるエントリが、あるでっかい(行単位とかの)ファイル中にあるかどうか探す
(とっても簡単に言ってしまえば、grepコマンドのようなことをする)
なんていう処理は、DB_Fileの最も得意とするところですね。

>>96
わーお。

**名無しさん＠お腹いっぱい。** · 03/05/16 22:43

あー、単純な検索の手法を流用すれば済むかと思ったら、
全部に正規表現でのパターンマッチングを行う必要があるわけですね…。

**名無しさん＠お腹いっぱい。** · 03/05/16 22:44

例えば、以下のようなリストがあるとして、
user.rb.il24.net
adsl.ppp.infoweb.ne.jp
dion.ne.jp
それぞれ、
u.dat　user.rb.il24.net
a.dat　adsl.ppp.infoweb.ne.jp
d.dat　dion.ne.jp
とかに細分化すれば、線形比較の対象が激減すると思う。
あくまでDB使わない計画で。

**BG ★** · 03/05/16 22:45

むしろ管理人には思想的なことを聞いたほうが良いと思うのだが、

1) アクセス規制は今よりももっと増やしても良い。(ISP全体じゃなくてだけど)
2) 投稿内容によって弾くこともより増やしたほうがよい(宣伝URLとか)
3) 公開プロ串規制は、こんなもんだと思っている
4) 1)に関連して、アクセス規制は部隊まで作ってでももう少しやりたい
5) 今年の夏はサーフィンに挑戦したい。

**ＤＤＴ** ◆BDDDT/OREE · 03/05/16 22:45

むむむのおっさんはスペインまで行ってこんな事やってるのはいかがなものか。

**名無しさん＠お腹いっぱい。** · 03/05/16 22:49

1) システムメンテナンスは出来るだけ自分でも出来るようにしておきたい
2) やれと言われれば、知らない言語でも習得する
3) 今年の夏はぜひとも月旅行

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 22:50

>>106
こんなへんぴなとこまで、わざわざストーキングごくろうさん。
こんなことも息抜きのうち。
で、息抜きばかりの不良社員はそろそろ会議に戻るとしようか。

**サザン ★** · 03/05/16 22:50

どうやらさんはDBに興味をお持ちになったようです。

03/05/16 22:50

＞1) アクセス規制は今よりももっと増やしても良い。(
アクセス規制を2段階に変えようかと思ってたりして、、、
wellknownホストに関しては、今までどおりで、
.mzとか変なところは、一律禁止にしてアカウント制にするのもありかなぁと。

＞2) 投稿内容によって弾くこともより増やしたほうがよい
いたちごっこなのでホスト規制を増やして対応予定。

＞4) 1)に関連して、アクセス規制は部隊まで作ってでももう少しやりたい
そうかも。

◆MUMUMUkopk **＠むむむ ★** · 03/05/16 22:51

ちなみに、ひとコマ出席しなきゃいけない会議があいたのよ(素)。
で、たまったメール処理しながら、たまにのぞいてるのだ。

03/05/16 22:51

＞1) システムメンテナンスは出来るだけ自分でも出来るようにしておきたい
おいらが一切触らなくてもいいなら触りたくない。

＞2) やれと言われれば、知らない言語でも習得する
微妙。。

＞3) 今年の夏はぜひとも月旅行
まずは、ワイハーからですな。

**名無しさん＠お腹いっぱい。** · 03/05/16 22:53

>>104
んなことしなくても、
あらかじめソートしておいて、二分探査すればいい。

**名無しさん＠お腹いっぱい。** · 03/05/16 23:01

>>113
規制リストがソートしてあっても HOST=aaa.xxx.ne.jpのとき、
xxx.ne.jpを探すのは困難では？

aaa.ne.jp
bbb.ne.jp
xxx.ne.jp

**あぼーん** · NG

あぼーん

**名無しさん＠お腹いっぱい。** · 03/05/16 23:05

新しいbbs.cgiでも？？？(うﾞぐ～)出来るようにして欲しいな…。

**名無しさん＠お腹いっぱい。** · 03/05/16 23:05

猛者がいるな

**名無しさん＠お腹いっぱい。** · 03/05/16 23:06

出来なかった…。

**名無しさん＠お腹いっぱい。** · 03/05/16 23:06

>>114
文字列の後ろの方から逆方向にソートすればいいじゃん。

**名無しさん＠お腹いっぱい。** · 03/05/16 23:06

単純一致やIPアドレス一致でいいならbinary searchがベストだと思うけど、
正規表現や部分一致が不可能だからねえ。

◆Chacha.PkA · 03/05/16 23:09

ﾄﾞﾒｲﾝのﾚﾍﾞﾙごとにﾘｽﾄを構築するのは大変でしょうか…？
いったん構築してしまえば、あとは追加、削除の繰り返しですし。

**名無しさん＠お腹いっぱい。** · 03/05/16 23:10

>119
なるほど、それは面白いかも。
正規表現は使ってないのかな？使ってなければやれるかも。

◆cZfSunOs.U · 03/05/16 23:14

PostgreSQL とか言ってみるテスト．

http://www.postgresql.jp/document/pg721doc/user/datatype-net-types.html
http://www.postgresql.jp/document/pg721doc/user/functions-net.html

**仕様無しさん** ◆ukNwLv.g/w · 03/05/16 23:18

リストの内容によっては、perlに面倒なことを押し付けて、
以下のような感じでできないかな? かえって遅くなるかもしれないけど。

open(PHOST,"<$pxck");
my @PIP = <PHOST>;
close(PHOST);
$INH = '(' . join( ')|(', map {chomp} @PIP ) . ')';
if($HOST =~ /$INH/i)
{
Error("ＥＲＲＯＲ！","公開ＰＲＯＸＹを使っているかアクセス規制です！！");
}

**仕様無しさん** ◆ukNwLv.g/w · 03/05/16 23:20

訂正:
$INH = '(' . join( ')|(', map {chomp} @PIP ) . ')';
→
$INH = '(' . join( ')|(', map {chomp;$_} @PIP ) . ')';

**名無しさん＠お腹いっぱい。** · 03/05/17 00:03

1)公開PROXY規制（引っかかったら終了）
2)本文規制（広告URLなど：引っかかったら終了）
3)その他特定ホスト等の規制(OPTION)
4)SETTING.TXT(R)
5)xxxxxxxx.dat log/xxxxxxxx.dat subject.txt subback.html index.html i/index.htmlをロック
6)dat追記
7)log/dat追記
8)subject.txt書き直し
9)subback.html書き直し
10)i/index.html書き直し
11)index.html書き直し
12)5のファイルをロック解除

とか無責任に書いてみる。

**ぼるじょあ** ◆yEbBEcuFOU · 03/05/17 00:40

（・３・）　エェー　ファイルのロックはOSにまかせてるんじゃないかNAと言ってみるテスト

**名無しさん＠お腹いっぱい。** · 03/05/17 00:48

>>127
複数のプロセスが同時に動いてる時に、ファイルが他のプロセスにより
ロックされてた場合、処理をスキップすることで負荷を低減するという
策なんじゃないかな？

だから、時間のかかる処理に入る前に、書き換える予定のファイルを
まとめてロックしちゃうと。

**名無しさん＠お腹いっぱい。** · 03/05/17 04:20

２ちゃんってこんなふうにじたばたつくってるんだすげー。
ということがわかった記念ぐりこ

**いらいくん ★** · 03/05/17 09:07

>>108
ソーセージでも食いながら頑張って下さい。

**特攻総長** ◆33aKImDcPg · 03/05/17 16:19

私も参加してよろしいですか？
今からLOG読んでいろいろとやってみようと思うんですが。。。

**名無しさん＠お腹いっぱい。** · 03/05/17 16:25

プロキシリストをメモリ内に取り込んじゃえ。

**名無しさん** · 03/05/17 16:31

スレ順位がBBS_THREAD_NUMBERの数値より下にあるスレは /bbs/html/**********.html は触らないとか。
pageview.cgiが無い今、下位のスレは必要ないじゃん。

**名無しさん** · 03/05/17 16:36

～数値より下にあるスレのsage書き込みは

ずぶ ◆PHZUBUXUug · 03/05/17 18:11

規制リストって,ディスク内でいったん一つにまとめてメモリに読み出し,
ホスト名の後ろから照合する事は可能でしょうか？

例えば書き込まれたホストがXXXX.aaa.bbb..co.jpだとすると,
まず.jpを照合(.jp以外規制)し,ついで.co.jp(これはスルーできれば
良いですが),そして.bbb.co.jp(一括プロバイダ規制など)と言った具合に。
ホスト名の分割でどれくらい負荷が出るかにも寄りますが,
照合の手順が減るようにも思えるのですが…

**名無しさん＠お腹いっぱい。** · 03/05/17 18:48

規制リストが単純に後方一致でいいなら、
一つずつ照合しなくてもいいんだけどな。

**名無しさん＠お腹いっぱい。** · 03/05/17 18:53

電波発信者　→　規制リストチェック鯖　→　該当無し　→　bbs鯖に接触
　　↑　　　　　　　　　　　↓
　「帰れ！！」　←　限りなく黒

ずぶ ◆PHZUBUXUug · 03/05/17 19:09

>>137
規制チェック用の鯖だと,かえって負荷が集中して落ちると
思うんすけど。。。

ずぶ ◆PHZUBUXUug · 03/05/17 20:51

>>135
既出ですた。スマソ…

**特攻総長** ◆33aKImDcPg · 03/05/17 20:56

規制リストチェック鯖を二つ用意して分散させるとか・・・
一つだとやっぱり集中しますしね～。

**●゜、⊃゜）** ◆13ThomasYo · 03/05/17 22:17

なんでDB化しないんだろう。
deny listもレスもDB化しちまえばいいのに。

**名無しさん＠お腹いっぱい。** · 03/05/17 22:40

DB化って何ですか？

**名無しさん＠お腹いっぱい。** · 03/05/17 22:58

ﾃﾞｰﾀﾍﾞｰｽ

**名無しさん＠お腹いっぱい。** · 03/05/17 23:01

＞142
星の入った珠を7つ集めて願いをかなえてもらうこと

**名無しさん＠お腹いっぱい。** · 03/05/17 23:19

>>142
アイコラで巨乳にすること

**名無しさん＠お腹いっぱい。** · 03/05/17 23:42

>>142
回を重ねるごとに戦闘力が無闇に上がっていくことです。

**名無しさん＠お腹いっぱい。** · 03/05/18 01:19

>>119 文字列の後ろの方から逆順...てのにぐぐっときて...

規制リストの文字列を逆順化

aaa.ne.jp-> pj.en.aaa
bbb.ne.jp-> pj.en.bbb
xxx.ne.jp-> pj.en.xxx

これはPerlなら、

$反転文字列 = reverse $元の文字列;

な感じでできて、こいつを規制リストとしてとっておく。
(二分探索木とか難しいことはだれかおながいしまぁ～す)
で、

open(PHOST,"<$pxck");
my @PIP = <PHOST>;
close(PHOST);
$HOST = reverse $HOST;
foreach(@PIP)
{
chomp($_);
if($HOST =~ /^$_/;)
{
Error(" ", ...);
}
}

正規表現のマッチを文字列先頭からに限定できるのでだいぶ良くなるはず。

**名無しさん＠お腹いっぱい。** · 03/05/18 01:25

あ゛
if($HOST =~ /^$_/;)
は
if($HOST =~ /^$_/i)
ね

**名無しさん＠お腹いっぱい。** · 03/05/18 01:31

？

**名無しさん＠お腹いっぱい。** · 03/05/18 01:32

処理量のオーダーが変わってないだろ。
申し訳ないが、馬鹿じゃないの？

**名無しさん＠お腹いっぱい。** · 03/05/18 01:33

ごめん、アルコール入ってて言い過ぎた。
普段思ってても書き込まないようなことを書いちゃった。
150は取り消しで…。

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 01:35

ていうか、

＞(二分探索木とか難しいことはだれかおながいしまぁ～す)

Bサーチが難しいこととか思ってるような人は黙ってる方が吉。

**名無しさん＠お腹いっぱい。** · 03/05/18 01:42

Bサーチていうな

**名無しさん＠お腹いっぱい。** · 03/05/18 02:36

ここのスクリプト、頼んで分けてもらったら？
ttp://kari.to/

**名無しさん＠お腹いっぱい。** · 03/05/18 04:42

sourceforge化して開発者あつめるとか・・・

**仕様無しさん** ◆ukNwLv.g/w · 03/05/18 11:18

>>75,80,124,147を実測してみた。
http://www.geocities.co.jp/SiliconValley-Bay/8921/kisei.tgz
どんぶりのせいくらべ状態...

**名無しさん＠お腹いっぱい。** · 03/05/18 11:23

>>155
おもしろそうですね。真剣に軽量化を目指して改良する人もいれば、
真剣に2chに深刻な打撃を与える研究をする人もでてくる(^^;;

**けんすう** ◆mTj9hjLz9w · 03/05/18 12:15

>>154
（仮）のスクリプトってrubyでしたっけ？

おもしろいことやってる掲示板だとは思うんですが、
今だに使い方がわからないです、、

**名無しさん＠お腹いっぱい。** · 03/05/18 15:30

とりあえずデータは全部メモリに常駐させとこう。

**7M.** ◆dq7M./4Uw. · 03/05/18 15:48

>>156
おちかれーしょん。
124cが一番早いのか…（まぁ確かにどんぶりの背比べ感も…

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 15:55

ドングリの背比べっつーか、124以外は全部O(N)じゃん。

◆cZfSunOs.U · 03/05/18 15:58

規制IPリストをメモリ上に保持しておくような Apache モジュール作ってみるかな．
まぁ政治的(？)にはモジュール追加するのは難しいんだろうけど......

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 16:07

常にメモリに置いておけるならハッシュが最強だろな。

◆n3D69Zsbfg · 03/05/18 16:18

>>163
そうか? パトラッシュもなかなかだぞ。

115.suba418.attnet.ne.jp ◆MUMUMUkopk · 03/05/18 16:20

>>164
くすくす。なんだか予想通りの発言で笑える。
# さきほど無事帰国しますた。ビジネスにうｐできたyo。

◆n3D69Zsbfg · 03/05/18 16:26

>>165
お疲れ様ー

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 16:27

>>164
フランダースの犬には後日談があってな。
凍死したネロの死肉を食って生き延びたパトラッシュが復讐を誓って魔犬となり、ネロを
虐げた人々を襲っては喰うのだ。

**名無しさん＠お腹いっぱい。** · 03/05/18 16:33

>163
完全一致じゃないものからどうやって？
>164
俺はセブンラッシュがいい。コンチIII最強。

**ヽ（￣∀￣）ノ** ◆SEED/jTl1k · 03/05/18 16:37

>>167
（（（（ﾟДﾟ；））））ｶﾞﾀｶﾞﾀﾌﾞﾙﾌﾞﾙ

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 16:41

>>168
+-jp
|　+-co
|　|　+-xxx
|　|　|
|　|　+-yyy
|　+-or
|　　+-zzz
+-to
|
：
：

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 16:42

>>169
SEEDこんなとこにも来てるのか（ｗ

**仕様無しさん** ◆ukNwLv.g/w · 03/05/18 16:43

>>160
IDがバグ持ち...

**仕様無しさん** ◆ukNwLv.g/w · 03/05/18 16:45

>>170
ぽかーん
ハッシュって何かわかってる?

**名無しさん＠お腹いっぱい。** · 03/05/18 16:46

>170
意味わかんね。ハッシュって知ってるよね？

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 16:47

>>173
>>170の図を見て各ノードでハッシュ生成するくらいのことはわからんか？

**名無しさん＠お腹いっぱい。** · 03/05/18 16:48

つーかさ、どうやってハッシュ値生成すんの？
リクエストのリモホをドメインで区切って
すべてについて比較するっていうなら、わからないでもないけどさ。

**名無しさん＠お腹いっぱい。** · 03/05/18 16:48

bbs.cgi を機能ごとに分割して…

だめだな。

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 16:52

>>176
違うの？

**名無しさん＠お腹いっぱい。** · 03/05/18 16:53

だって>170の図はどう見てもただの木じゃん。
全然ハッシュと関係あるように見えない。

**名無しさん＠お腹いっぱい。** · 03/05/18 16:54

しかも区切ってるのは規制リストの方だし。

**仕様無しさん** ◆ukNwLv.g/w · 03/05/18 16:56

http://qb.2ch.net/test/read.cgi/sec2ch/1004308075/l50
みたいなのもあるから、あかんのだよ。

**名無しさん＠お腹いっぱい。** · 03/05/18 17:00

なるほど、場合によってはリモホの文字数分だけ比較しなきゃいけないか。
(規制リストには後半の一致部だけ入れといて)
だったら下手すると２分探索の方が速そう。

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 18:37

やっぱDB化して
SELECT * FROM T_DENY WHERE HOST LIKE '%xxx.ne.jp';
とかかの。

**仕様無しさん** ◆ukNwLv.g/w · 03/05/18 19:12

>>183
偉そうな事言っといて結局リニアサーチかよ！
偉そうな事言っといて結局リニアサーチかよ！

**名無しさん＠お腹いっぱい。** · 03/05/18 19:12

>>158
書き込み部がrubyで、表示部がC++らしいです。
ツリー表示云々の機能をバッサリ切れば、２ちゃんでも使えそう

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 19:35

>>184
SELECT ～ LIKEってリニアサーチなの？

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 19:38

まあDBが中でどうやって探してようが、bbs.cgiが探さなくて済むならそれでいいと思うんだが。

◆n3D69Zsbfg · 03/05/18 19:41

まぁ中の人ががんばっている訳だが、

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 19:45

bbs.cgiをどんなにいじくってもDBの中の人以上の信頼性と安定性を得るのは難しいわけで。

◆n3D69Zsbfg · 03/05/18 19:46

高速性と自己満足は得られる可能性はあるかも、

**M249** ◆MInImi/RF2 · 03/05/18 19:46

DBにINDEXつけとけば検索早い、とかいう話?

**名無しさん＠お腹いっぱい。** · 03/05/18 20:00

>>186
like使ったんじゃインデックスが効かない
つーかいくらDBの中の人に興味がなくても
それぐらいわからないと説得力ないぞ

**名無しさん＠お腹いっぱい。** · 03/05/18 20:12

そう言えば、この調子で言ったら、転送量限界達するまであと何日ぐらい？

**あぼーん** · NG

あぼーん

**名無しさん＠お腹いっぱい。** · 03/05/18 20:53

>>186-190
そろそろトーマスも限界か？

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 21:11

>>190
どっちが目的なの？

>>192
>>187

**仕様無しさん** ◆ukNwLv.g/w · 03/05/18 21:18

つーかあれだ、実際に動くコード書いた上で言ってくれ。
テストデータは>>181の中にあるから。

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 21:22

・規制のやり方をおおざっぱにする

という選択肢は無しか？

**名無しさん＠お腹いっぱい。** · 03/05/18 21:56

>198
ひろゆきの基本思想から考えて、無理。

**●゜、⊃゜）** ◆13ThomasYo · 03/05/18 22:00

基本思想って「めんどくさいことは嫌」の他に何かあったっけ。