正規表現道場@2ch

**ヽ(´▽｀)ノ** · 2001/07/26(木) 09:03

以外と毛嫌いして居る人も多そうな正規表現、
でもperlを使いのなす上で避けて通れない道だったりするかもです。
そこで、スクラップブック的に目に止まったカッコイイ正規表現を
書き留めておこうと言うスレッドです。
質問する時は言語と、得たい結果をなるべく詳しく書いてね。

取り合えず僕が知ってる有用なリンクです。
http://www.din.or.jp/~ohzaki/perl.htm
http://www.kt.rim.or.jp/~kbk/regex/regex.html

もっとｲｲ（・∀・）リンクは>>2-10さん辺りが書いてくれるカモ････

**nobodyさん** · 02/09/22 08:53

>>623
そうかー、さんきゅー助かった！
迷惑ついでにもうひとつ聞くけど、
substr使うより、正規表現使ったほうが処理早い？

「何文字かの文字列を先頭の２文字だけに変換する」
という処理を数千件行うんだけど、どっちが早い？
数千件程度じゃあんまり変わらんかｗ

**名無しさん＠Ｍｅａｄｏｗ** · 02/09/22 09:03

>>624
死らん。やってみて報告キボンヌ。
$start=time();
while(<>) {
s/(^..).*/$1/; #または、substr($_, 0, 2);
}
$end=time();
print $end-$start, "\n";

**nobodyさん** · 02/09/22 09:11

>>625
数千件と言いながら3357件しかないので、
たいして変わんなかったｗ
期待はずれｽﾏｿ

**名無しさん＠Ｍｅａｄｏｗ** · 02/09/22 09:12

>>642って書いたけど、その後の処理の内容が問題じゃん。
s///は$_が変化している。substrはそのまま。
$_にさらに処理を加えるなら、s///にしなきゃだめだけど
最初の2文字出すだけならprint substr...の方が早いっしょ。

**nobodyさん** · 02/09/22 09:20

>>627
そかそか、勉強になった、さんくすｺ

**nobodyさん** · 02/09/22 19:02

正規表現は基本的に遅いよ。
他のやり方でやろうとすると数行並べなきゃならなくなるような
処理なら素直に正規表現使った方が速くなることもあるけど。

use Benchmark;
timethese(500000,{
1=>q{
$hoge = '123456789';
$hoge =~ s/^(..).*/$1/;
},
2=>q{
$hoge = '123456789';
$hoge = substr($hoge,0,2);
}
});
Benchmark: timing 500000 iterations of 1, 2...
1: 20 wallclock secs (20.69 usr + 0.00 sys = 20.69 CPU) @ 24167.43/s (n=500000)
2: 3 wallclock secs ( 3.55 usr + 0.00 sys = 3.55 CPU) @ 141003.95/s (n=500000)

**名無しさん＠Ｍｅａｄｏｗ** · 02/09/23 10:25

>>629
べんきょになりましたm(__)m

**nobodyさん** · 02/09/23 14:48

JRE32v1.17で

std::string
string
std::vector
vector

にヒットする正規表現がわかりません・・・

(std::)?string|vector

だと、std::が付いてないヤツにヒットしないです

**nobodyさん** · 02/09/23 14:50

(std::|)?string|vector

**631** · 02/09/23 14:54

>632
そ・・・そんな単純な事なのか・・・
ありがとうございました

**名無しさん＠お腹いっぱい。** · 02/09/24 23:42

きっと誰かやってると思うんだけど、日本語を含む文字列中の , . など
区切り文字を空白に置換する正規表現を教えてください。
できれば、。「」なんかもできるといいです。

**nobodyさん** · 02/09/24 23:58

>>634
tr/,./ /;
s/\x81[\x40-\x42]/ /g;#SJIS

**nobodyさん** · 02/09/25 00:03

s/\x81[\x40-\x42]|[^\x81-\x9f][,.]/ /g;#SJIS

**nobodyさん** · 02/09/25 00:11

>>636
（　´,_ゝ`）ﾌﾟｯ

**636** · 02/09/25 00:13

あ、いろんな意味でダメだこれ。

**名無しさん＠お腹いっぱい。** · 02/09/25 00:16

>635-636
すみません。EUC-JPなんです。
とりあえず、JIS X 208の01-03区は記号っぽいので、
tr/,./ /;
s/[\xA1-\xA3][\xA1-\xFE]/ /g;
とやってみましたが日本語が化ける場合があります。

**637** · 02/09/25 00:25

では、わたしから

s/[.,]|\xa1[\xa2\xa3\xd6\xd7]/ /g;

**nobodyさん** · 02/09/25 00:42

>>640
「◆□」とかの\xa2\xa1\xa2\xa2みたいに並んだ文字で誤変換するぞ

**nobodyさん** · 02/09/25 00:47

区の指定と点の指定を区別せにゃならんな。

**637** · 02/09/25 00:58

そこまで完璧に処理するとなるとオーバーヘッドがでかくなるんでないかな
一応以下のやつではどうだ？（１６進と８進がいりまじってるけどきにするな）

s/([.,]|\xa1[\xa2\xa3\xd6\xd7])|(\216[\241-\337]|\217?[\241-\376].|.|\n)/$1?' ':$2/ge;

**nobodyさん** · 02/09/25 01:05

この辺嫁。
http://www.din.or.jp/~ohzaki/perl.htm#JP_Match

**名無しさん＠お腹いっぱい。** · 02/09/25 01:50

>>640-644
レスありがとうございます。
>>644のリンク先に書いてある方法で、
s/\G((?:$ascii|$twoBytes|$threeBytes)*?)(?:[\x20-\x2F\x3A-\x40\x5B-\x60\x7B-\x7F]|[\xA1-\xA3][\xA1-\xFE])/$1 /g;
でうまくいきそうです。

**nobodyさん** · 02/09/29 19:27

URLに使える文字がエスケープされていたら(%7Eとか%2Eとか)
元に戻す( ~ とか . とかに)という処理を正規表現で行えますか?

**nobodyさん** · 02/09/29 19:35

(ﾟдﾟ)ﾊｧ?
URLデコードで検索しろや。

**nobodyさん** · 02/09/29 20:32

URLデコードだとデコードしたら意味が変わる文字までデコードしちゃうじゃないですか。
安全にデコードできるパターンだけを元に戻したいんですけどそういう判定を
正規表現でできますか? という質問。

**nobodyたん** · 02/09/29 21:46

>>648
できる。

**nobodyさん** · 02/09/30 09:51

>>648
ふつーは単純にURLでコードすりゃいいだろ。
何か特殊な事情があるならやりたいことを詳しく書け！

**nobodyさん** · 02/09/30 12:56

>>648
指定が面倒そうだから一度エンコードしてデコードし直せば？
s/%([a-f\d]{2})/pack("H2",$1)/ieg;
s|([^\w/\.&%?~+=:@#\-])|'%'.unpack("H2",$1)|eg;

**651** · 02/09/30 12:58

違う、デコードしてエンコードし直す、だな。

**nobodyさん** · 02/10/01 01:46

>>650
URLを同一性チェックのために正規化したいんです。
>>651
それだと最初はエンコードされてなかった / とか # とかも
エンコードされてしまいまつ…

**nobodyさん** · 02/10/01 01:57

>>653
意味わかって言ってる？
>>651のは「\w/.&%?~+=:@#-」以外の文字をエンコードするって
意味だぞ。

**nobodyさん** · 02/10/01 10:50

>>654
ごめん '[' とか ']' とかが、とでも読み替えてください

**nobodyさん** · 02/10/01 10:56

ていうか最初は %2F にエンコードされてた / が
デコードされてしまうのでやっぱり困ります。
同一視されては困るからエンコードしてるのに
区別がつかなくなっちゃう。

**nobodyさん** · 02/10/01 12:21

>>656
だから意味考えろって。
'[' ']'をエンコードさせたくないなら[^～]の中に
\[\]を加えればいいだけだろ。
/はエンコードしたいなら[^～]の中の/を外せばいいだろ。
お前の頭にゃ何が詰まってんだ？
エンコードしたくないものを[^～]の中に並べるだけ。
>>651のはただの一例だろ。実際に何を並べるかくらい自分で考えろ。

**nobodyさん** · 02/10/01 12:31

>>656
同一視って、何と何が？

**nobodyさん** · 02/10/01 12:35

>>656まずは例を出してみようよ。この文字列を
このようにしたい、って感じで。

君の説明わかんないよ。

**nobodyさん** · 02/10/01 12:48

＞URLに使える文字がエスケープされていたら(%7Eとか%2Eとか)
＞元に戻す( ~ とか . とかに)という処理を正規表現で行えますか?

＞ていうか最初は %2F にエンコードされてた / が
＞デコードされてしまうのでやっぱり困ります。

このへんが特にわからないね。
URLで使える文字を戻したいんじゃ無かったのか？

**nobodyさん** · 02/10/01 12:59

質問しとる方も何がしたいのかわかってないんちゃうか？

**nobodyさん** · 02/10/01 15:00

>>657-660
最初が「/%2F」なら「//」でも「%2F%2F」でもなくて
「/%2F」のままなるようにしたいんです。文字クラスに
足したり引いたりするだけでそんなこと出来ますか?
「~%7E」は「~~」にしたいです。
そのままにしたい文字(「/」のような)と統一したい文字
「~」のような)を区別する基準は、RFC2396のunreservedに
含まれるか否かです。

たとえば「/%7Ehoge」と「/~hoge」は同じURIだから、
この変換を掛けた後はどちらも同じ文字列にしたいけど、
「a/index.html」と「a%2Findex.html」は違うURIだから
同じになっては困るということです。

**nobodyさん** · 02/10/01 15:42

>>662
my %reserved = map { unpack('H2',$_) =>1 } qw(; / ? : @ & = + $ ,);
s/%([0-9A-Fa-f][0-9A-Fa-f])/$reserved{lc $1}?"%$1":pack('H2', $1)/eg;
こんなとこか？

**nobodyさん** · 02/10/02 03:14

>a%2Findex.html
このURL自体がありえないと思う。

**nobodyさん** · 02/10/02 12:06

>>664
Mac OS 9のサーバなら十分にありうる。
RFC 2396的にも別に禁止されてない。

**nobodyさん** · 02/10/02 12:07

つか /　が気に入らないなら別の文字当てはめてみろよ。
# と %23 が同一視されたらまずいのは明らかだろ。

**nobodyさん** · 02/10/06 00:18

もっとも後ろにある , 以降の文字列を削除する正規表現を教えてください。

例
12345,67890,12345,67890 →　12345,67890,12345
aaa3,5567,3333333,aser567　－>　aaa3,5567,3333333
dser6f,ghhs,,asfa,wfdw,,,,asf -> dser6f,ghhs,,asfa,wfdw,,,

**nobodyさん** · 02/10/06 00:21

s/,[^,]*$//;

**nobodyさん** · 02/10/06 00:36

>>668
thx

**nobodyさん** · 02/10/06 01:34

連ｶｷｽﾏｿ。
６個目の , 以降の文字列を削除する正規表現について。

例
11111,22222,33333,44444,55555,66666,77777
　→　11111,22222,33333,44444,55555,66666

11111,222,33333,4444444,55,6 → (これはそのまま)

,,,,,,,,,,11111　→　,,,,,

この正規表現を作ってみたんですが

s/([^,]*)(,[^,]*)(,[^,]*)(,[^,]*)(,[^,]*)(,[^,]*).*/$1$2$3$4$5$6/;

もっとスマートな書き方ありませんか？

**nobodyさん** · 02/10/06 01:49

s/([^,]*,[^,]*,[^,]*,[^,]*,[^,]*,[^,]*.*/$1/;

**nobodyさん** · 02/10/06 01:49

括弧を消しすぎた
s/([^,]*,[^,]*,[^,]*,[^,]*,[^,]*,[^,]*).*/$1/;

**nobodyさん** · 02/10/06 02:10

s/^((?:[^,]*,){5}[^,]*).*$/$1/;

**nobodyさん** · 02/10/06 02:12

chop($st = $1) if $st =~ /^((.*?,){6})/;
とか。

**名無しさん＠Ｍｅａｄｏｗ** · 02/10/06 02:15

>>674
くそ、さき越された。早く寝ろてめえら。

**hmk** · 02/10/06 02:15

>>674
キャ～カッコイイ！！

**nobodyさん** · 02/10/06 02:18

>>674 の案を頂き。thx

**名無しさん＠Ｍｅａｄｏｗ** · 02/10/06 02:35

>>674
しかしだな、
$st =~ s/^((.*?,){6}).*/$1/;
の方が普通やね。やっぱ、俺の方が（略

**nobodyさん** · 02/10/06 02:41

>>678
末尾に残るカンマの処理はどうお考えで?

**名無しさん＠Ｍｅａｄｏｗ** · 02/10/06 02:53

>>679
む、やっぱ、あんた=>>674?の方が（略

**nobodyさん** · 02/10/06 02:57

サクラエディタで、JSP／ASPのスクリプト部分を色指定しようと試しているのですが巧くいきません。
<%.*%>でオーケーとか軽く考えていたのですが、.は改行文字にはマッチしないのですね。
改行文字も含めてとにかく全部マッチさせるにはどうしたらいいのでしょうか？

＃サクラスレではレスが付きませんでした(T_T)

**nobodyさん** · 02/10/06 03:16

>>681
改行コードに色は付きません。
改行コードの正規表現は、
windows: \r\n, unix: \n, Mac]\r
です。

**nobodyさん** · 02/10/06 03:17

あ、×Mac]\r -> ○Mac: \r

**nobodyさん** · 02/10/06 03:25

htmlで改行コードを表示するんなら、６８２、６８３で書いた
ものに代替文字を当て、そいつに色タグを付けるようにしる。

**nobodyさん** · 02/10/06 03:53

>>682
ごめんなさい、ちょっと書き方が悪かったですね。
<%.*%>と指定しても、<%と%>に挟まれた文字に色がつかないんです。
それで、改行が挟まっているのでマッチしないのか、と思い>>681を書いたのですが……

私、根本的に間違っているのでしょうか？(^^;

**nobodyさん** · 02/10/06 04:07

>>684
そいじゃ、「改行文字も含めてとにかく全部マッチさせる」じゃなくって
「改行文字を除いた部分にマッチさせる」じゃねーかよ。日本語大丈夫？
<%.*%>の中に改行が入っているかどうかなんて見れば分かるだろ。
それが確かに原因だと確かめられてから質問しろ。改行を挟む文字列を
連結するにはどうすればいいですかってな。
質問の仕方じゃ、どっかでレスが付かなかったのも当然だよ。

**nobodyさん** · 02/10/06 04:31

/<%.*%>/s;
とかいうレベルの話じゃないの

**nobodyさん** · 02/10/06 04:34

質問の仕方じゃ→こんな質問の仕方じゃ
我はもう寝る

**nobodyさん** · 02/10/06 04:35

ってPerlじゃないのか

**nobodyさん** · 02/10/13 00:14

Perlの正規表現で
0から始まらない数字だけの文字列
ってどう表現すればいいですか？
※001とか0930とかは駄目ってことです。

**nobodyさん** · 02/10/13 01:08

/^[1-9]\d*$/

**690** · 02/10/13 01:19

↑あーなるほど！
ありがとう！

**nobodyさん** · 02/10/13 16:39

%cat hoge.txt
人数:5725 過去のイベント

から
５７２５をとるのに
sed -e 's/.*://' hoge.txt |perl -pe 's/\s+.*//;'
としてますが、perlで一つの正規表現でやりたい

**nobodyさん** · 02/10/13 16:41

/人数:(5725) 過去のイベント/;

なんと $1 にセットされます。

◆gst6v8LC9k · 02/10/13 18:40

ユーザが入力したURLの中に
../
がはいっているとイヤです。取り除きたいと思います。
一方、
.. や / は取り除きたくありません。

単純に、
../ を消す正規表現を採用したところ、
たとえば
..././ を入力されたときに、
../ が残ってしまいます。

何か良い知恵はありませんか？

◆gst6v8LC9k · 02/10/13 18:42

なくなるまでぐるぐるまわさなきゃダメでしょうかねぇ？

**nobodyさん** · 02/10/13 18:52

1 while s/\.\.\///;

**nobodyさん** · 02/10/13 21:54

>>697
何で？s/\.\.\///g;でいいじゃん。

**nobodyさん** · 02/10/13 22:01

>>698
$_= '..././aaa';

これの実行結果を見てみ

**698** · 02/10/13 22:10

>>699
　（;´Д｀）　　ｽﾐﾏｾﾝｽﾐﾏｾﾝ
　（　八)
　　　〉〉

**nobodyさん** · 02/10/14 02:49

いやそれより
..././aaa
が
aaa
になるのは正しいのか?
.../aaa
にならなきゃならないと思うんだが。

**nobodyさん** · 02/10/14 03:01

ああユーザーの入力から取り除きたいってことか
２ちゃんねるの&rlo;対策も>>698と同じ罠にはまってたなそういえば

**698** · 02/10/14 11:30

>>695の問題設定に矛盾あり。
../を取り除きたいと/は取り除きたくないとの両立は不可能。
ネタか？

**nobodyさん** · 02/10/14 15:40

../ 以外の場所に出現する / は取り除きたくないってことでしょ。
つまり ../a/b..c は abc じゃなくて a/b..c にしたいと。

**698** · 02/10/14 16:01

じゃあだよ、..../..././は？
第1っ回目で..../となり2回目で..かい？
どういう意味があるのかいまだ和歌ら図・・

**nobodyさん** · 02/10/14 16:06

それ以前に..../..././にどういう意味が・・・

**698** · 02/10/14 16:17

>>706
あっしに言ってんの？
じゃ、.../..././でもいいよ。
これは、.になっちゃうよね。それに何の意味があるのって聞いてんの。

**698** · 02/10/14 16:18

>>706
>>701が言ってることに答えくれればいいんよ。

◆qOV1uU.npY · 02/10/14 16:32

名前を失念したので、うまく◆gst6v8LC9k になるかどうか不明ですが
695です。失礼しました。皆さんお知恵をありがとうございます。

結局、以下を使う事にしました。
while($blah =~ /\.\.\//){ $blah =~ s/\.\.\///; }

まだ良く読んではいませんが、以下をこれから勉強してみようと思います。
http://b0iler.eyeonsecurity.org/tutorials/perlfilters.htm

◆gst6v8LC9k · 02/10/14 16:36

こっちだったかなぁ？名前。695です。

ところで、709でのリンクは今さっき見つけたのですが
関連するページを語如語如していましたら、以下のページが親ページ
だったみたいで。
http://b0iler.eyeonsecurity.org/tutorials/hackingcgi.htm

（名前、失敗したら次からは６９５です、と言おう）

**nobodyさん** · 02/10/14 17:13

このお題はかなり勉強になったと個人的に思う。
用はこれ
&rl&rlo;o;
にどう対処するかってことだよね。
早速自分の掲示板書き換えてきます。

**nobodyさん** · 02/10/14 17:15

>>711
まずった。
これね
&rl&rlo;o;

218-228-157-71.eonet.ne.jp · 02/10/14 17:53

(;´Д｀)ﾊｧﾊｧ

**nobodyさん** · 02/10/14 18:26

ここはCGIの話をするところではありません。
>>709->>712は早急に立ち退いてください。

**nobodyさん** · 02/10/14 19:00

はい、次々ぃ！

与えられた文字の並びの中から、
UUENCODEでファイルの記述になっている部分【だけ】を
正規表現でネグるやり方はありますか？

これ、テキストメールでOEユーザあたり宛に、ファイル送るときに
便利ですが。フィルターするならどうします？

掲示板に投稿されたテキストが、まんま、掲示板管理者に送信される
ケースで、事故が発生したことがあります。ちなみにOTDの掲示板で。
今は対処済みのようなんですが、いったいどうやったんだろうと不思議で。

**nobodyさん** · 02/10/14 19:21

>>715
「UUENCODEでファイルの記述になっている部分【だけ】を」
日本語がはっきりしませんが、uuencodeされた部分は、beginn
とendで境界付けられています。

**nobodyさん** · 02/10/14 23:51

１．undef $/;$while_lines=<>;
２．@lines=<>;
perlを１．２．のような使い方で
a
b
c
d
を
a\tb
c\td
にするにはどのように書けばいいでしょうか。
s/\n/\t/;
と書く場合、
置換される回数を指定できればやりたいことが実現できるのですが、
そういう手段perlはs演算子に用意されていないと思います。

他の手段でも構わないので、何かアドバイスありませんか？

**nobodyさん** · 02/10/15 00:00

s/\n(.*\n)/\t$1/g;

**nobodyさん** · 02/10/15 00:13

>>717
undef $/;
$line=<>;
$line =~ s/((.+?)\n(.+?\n))/$2\t$3/g;
print $line;

**７１９** · 02/10/15 00:16

>>718の方がおり降参でした。

**７１９** · 02/10/15 00:35

でも、漏れだったら、
while(<>) {
chomp;
if ($. % 2) {
print $_, "\t";
} else {
print $_, "\n";
}
}
かなぁ。

**nobodyさん** · 02/10/15 00:48

>>721
しょぼいコードだな

**７１９** · 02/10/15 00:59

じょぼくて悪かったな。
実は自分でもしょぼいなぁと、>>717はいい質問してくれたなぁと。