シェルスクリプト総合その14

**名無しさん＠お腹いっぱい。** · 2009/01/29(木) 06:54:48

シェルスクリプトの総合スレです。
スクリプトのお勉強・自慢・腕試しなどにどうぞ。
まずは注意点、リンク、地鎮祭など(>>1-6くらい)をご覧ください。

□お約束
・特記なき場合はBourne Shell(/bin/sh)がデフォルトです。
　bash/zsh/ksh/ashなどに依存する場合は明示しましょう。
　Linuxユーザは/bin/shの正体がbashなので特に注意。
FreeBSDユーザは/bin/shの正体がashなので注意。
v7 shに一番近くて、現役のshは、OpenSolaris由来のheirloom sh。
http://src.opensolaris.org/source/xref/onnv/onnv-gate/usr/src/cmd/sh/
http://heirloom.sourceforge.net/sh.html
・csh/tcshのシェルスクリプトは推奨されません。
(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
　manや参考リンクを見ましょう。
　aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルスクリプトのことをシェルってゆーな
・シェルで使えるワイルドカード等は正規表現ではありません。
正規表現の話題はスレ違い(正規表現スレへ)

□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
　RubyやPerlの方が適した仕事には素直にそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。

前スレ落ちたみたいなのでリンク省略。

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 08:33:41

>>421
まさかそんなところに突っ込んだの?( )笑

icc に変えればいいだけじゃん。
多分 >>418 の環境には iccがないから、テスト的に gcc でテストしただけだろ。

本当は >>419 は本気で >>418 がどこか間違ってると勘違いしてて、
>>420 で指摘されてとっさに苦し紛れに「exec gcc "$@"」とか言い訳したんだろな(笑)

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 08:35:37

<丶｀∀´>ｳﾘは謝罪と賠償を要求ﾆﾀﾞ

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 08:37:53

>>419
for i in "$@" のループ中に $@ をいじってるのを見て
反射的に間違っていると思った、に一票

(for の引数はループ前にしか評価されないから問題なし)

多分図星。

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 08:46:38

指摘するときにMD5を添えなかった>>419の負け

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 09:05:40

酢布って何？

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 10:01:16

シェルスクリプトの画面出力と併行して実行ログを残したいんですが
どんなスクリプトの記述がありますか？
teeやscriptを入れると実行が止まってしまう

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 10:18:00

全体を
{
} 2>&1 | tee hoge.log
とか
(
) 2>&1 | tee hoge.log
とかで囲ったら止まるの？

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 10:44:26

screen

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 11:19:24

もちろん、>>428 でも screenでも実行が止まってしまいます

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 11:20:12

エスパーでも呼べ

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 11:26:21

画面出力を保存すればいいよ

**名無しさん＠お腹いっぱい。** · 2009/04/10(金) 11:53:51

デジカメで

**名無しさん＠お腹いっぱい。** · 2009/04/11(土) 00:25:58

DVとかHDMIで出力して録画でもいいと思う。

**名無しさん＠お腹いっぱい。** · 2009/04/11(土) 00:39:58

シリアルターミナルにしてシリアルプリンタ直結もいい

**名無しさん＠お腹いっぱい。** · 2009/04/11(土) 00:42:02

そもそもttyというのは(ry

**名無しさん＠お腹いっぱい。** · 2009/04/11(土) 14:04:29

やっぱりダム端末だなｗｗｗ

**名無しさん＠お腹いっぱい。** · 2009/04/11(土) 22:45:58

viで全角文字を入力することはできますか？

**名無しさん＠お腹いっぱい。** · 2009/04/11(土) 23:09:26

>>438
もちろん、できません。というか、半角文字であってもできません。シェルスクリプトでは。

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 02:07:24

全角文字がそもそもキーボードから入力できない現実。

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 03:29:13

>>422
＞>>421
＞まさかそんなところに突っ込んだの?( )笑

全く話にならないねｗ
はらいてー　ぷけら

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 03:30:32

>>422
もう、書き込まないで一生ろむってろっっｗｗｗ

趣旨があってねーＹＯ。ぷぷぷ

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 09:21:49

自分の発する笑い声をあえて手を動かして文字にするところにその人の必死さが滲み出るよね

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 11:28:35

数スレ前だったと思うが、ズレた指摘をする人がいたのを思い出した。
たしか、
for file in *
do
ある処理 "$file"
done

みたいな感じで、「ある処理」の部分を質問していた。
で、質問自体は解決していた。
解決後に、「それじゃダメ」みたいなことをいう人がいて、
何レスか続いたあと、結局「* じゃドットファイルが処理されない」ことを
言いたかったらしい。でも、質問者はforループ内の「ある処理」の部分について
質問したかっただけで、forの部分は質問のために参考に書いただけ
(実際のスクリプトではおそらく違うのだろう)

今回荒してる >>419 = >> 441 と同じ匂いがする。

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 11:36:34

頭の病気だからスルーしる

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 17:03:02

PGはそんなものだよ。細かい所が取り柄。女にはモテないけど。orz

**名無しさん＠お腹いっぱい。** · 2009/04/12(日) 17:57:53

ドットファイルっていうのは、隠しファイル的な意味があって * に含まれないことが
利点なのだから、特別な処理をするわけでもない一般的なスクリプト中では
単純に * と書くことが良い。

などと、さらにズレてて無意味なレスをしてみる。

**名無しさん＠お腹いっぱい。** · 2009/04/14(火) 00:22:50

女にモテるためには細かい事気にしないのも大事。

**名無しさん＠お腹いっぱい。** · 2009/04/14(火) 13:21:52

女にモテるためには細かい事に気を配るのも大事

**名無しさん＠お腹いっぱい。** · 2009/04/14(火) 14:44:57

C言語マスターすればモテモテ

**名無しさん＠お腹いっぱい。** · 2009/04/14(火) 15:53:16

それはない

**名無しさん＠お腹いっぱい。** · 2009/04/14(火) 22:14:33

女にモテるためには細い方がイイ

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 00:32:23

はじめてのCぐらいは読んでヤリかたをマスターしておくのがマナー。
ガリが嫌いな女も居るぉ。

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 09:41:51

お願いです先達の皆様

ファイルの作成日付を取得する方法を教えてください。
sh使ってます。

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 09:50:55

↓これだけしか記録されていないので不可能。

st_atime: ファイルのデータが最後にアクセスされた時刻。
st_mtime: ファイルのデータが最後に修正された時刻。
st_ctime: ファイルステータスが最後に変更された時刻 (inode データの修正)。

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 10:55:13

じゃあ最終更新日付でいいので、取得出来るコマンドはありますか？

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 10:58:12

>>454
ctimeは「ファイルの作成日付」だと広く混同されているので、
「ファイルの作成日付を取得してくれ」と要求した人が
本当は「ctimeを取得してくれ」という意味で言ったのなら、
ctimeを取得すれば桶。
だから ls -lc (ls -lc --fu # for GNU) (ls -lcT # for *BSD)( ls -lce for solaris)

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 11:15:50

いけました。

lsだとフォーマットが一定しないのでlsでやりたく無かったんですが（年が入ったり入らなかったりする）、
ls -lc 等だとその問題もないみたいです。
ありがとうございました。

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 11:22:41

tcsh -fc 'filetest -C filename'
↑この方が環境依存性は小さくなる。

**名無しさん＠お腹いっぱい。** · 2009/04/15(水) 11:37:32

tcshよりperlの方が入ってる可能性高いんじゃね？

**名無しさん＠お腹いっぱい。** · 2009/04/16(木) 20:01:06

tcshは入ってないほうが多いだろうな。
perl入れてるなら何でも入れてもいいと思う。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 04:32:11

UNIXシェル入門を読んでいるけど、汎用的に書くって想像したよりかなり大変なんだね
CUIで困らない程度に使えるレベルなんだけど、どういう順序でshスクリプトを学習するのがいいのでしょうか?
1 普段、使っているbashの仕様を理解する。例題をヒントにいくつか、書いてみる。
2 ちょっとした自動化できる作業は、意識的にshスクリプトを書いて、どんどん試してみる
3 別のOSを用意し、どちらの環境でも汎用的に使えるスクリプトを書く。普段、良く使うプログラムのいろいろな設定ファイルも極力同一のものにしてみる
4
5

3以降の先は、まったく想像つかないんだけど

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 05:36:49

bash捨ててdashで書く…
bashにもBash POSIX Modeってのがあるか。
コマンド類はまぁ気合で。
#busyboxあたりにposix互換モードがあると便利なのになぁ。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 10:07:33

>>462
shとbashの違い以前に、どこまで古いバージョンに対応するかという問題
もあるし、完全に汎用なシェルスクリプトを追求して、時間コストや労力
に見合う結果を得られるのだろうか。

結局、対応したいOSやバージョン、そこから限定されるシェルの種類とバ
ージョンを設定して、その範囲で動作するものを作るしかないし、動作確
認はその限定された環境で行えばよいのではないだろうか。

仕事なのか趣味なのかによっても違うだろうし。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 10:44:46

>>463
bashのPOSIX Modeでbashismは防げない。
でも、dashもPOSIX互換を標榜しつつ、細かいところで
POSIXの機能がなかったりする。
困ったね。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 11:09:11

そもそもposixに対応することと「汎用的に書く」ことは全然別の話。
Solarisの/bin/shのように、posix非対応のシェルが標準シェルになってるし、
posix準拠を基準にしてしまうと、「汎用的」ではなくなってしまう。
だから、posixは忘れるのが吉。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 12:03:03

>>466
手間がかかるけど、posix規格(または、何かの規格)を意識して書く事は、いいことでしょ？
個人的には方向性も大きく違っていないと思っているんだけど
もちろん、どうしても例外的な事例が発生して、それをどうするんだというのは、あるんだろうけど
Solarisは目の前に現れたら考える

とりあえず、総合すると自分がよく使うOSに対応して、ある要請があったら、そのOSの対応を考えて、
随時対処していく感じが労力と時間を考慮すると現実的になんですかね

100行程度の高機能ではない簡易スクリプトをとりあえず自分の狭い世界観で汎用的に
書くことを想定としています

shスクリプトを学習したい理由は、
・shの機能を通じて、UNIXを理解したいこと
・頻出する作業は自動化して労力を軽減したいこと
　例え、コーディングのほうが結果的には労力かかったとしても
　自分はまだ学習レベルなので労力が結果的にトントンなら大成功
汎用的に書きたい理由は、
・本でそう奨励しているから(？)ｗ
・「汎用的に」書くって響きがかっこいいじゃん
・プログラマなら、ケースバイケースで汎用的書けないと恥ずかしいでしょ
・まあ、多少なりとも汎用性を意識して書くことは、悪いことにはならないよな

馬鹿ってかっこいいなあｗ

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 12:41:57

前の案件で1000行くらいのbashのバッチ10本くらい作ったら
後任者が全く理解できずに大惨事になってると風の噂で聞いたので反省している
文字のエンコードするのにiconv何発もかましたうえに\\\\\\\\とかやってるからなぁ

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 12:47:53

>>468
やっつけ仕事ではなく、ちゃんと他人が読むためのわかりやすいコードを書いたんでしょ？
もちろん、ポイントポイントでコメントでの解説付きで

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 12:51:34

反省する必要ないよ。後任者が理解できないことで
前任者のすごさをアピールできる。

もちろん、コメントなど書いてはいけない。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 12:59:24

Cでそれやったら無能かつ自分勝手な前任者ってことになるんだから、
bashだって同じだろ

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 13:22:58

3年前に己が書いた1000行くらいのbashのバッチがあったとして
一部修正することになって、ソースを読み込むことになったら、どのくらいの時間で
読めるものだろうか
また、他人が一部修正を任されることになって、読み込むことになって、どのくらいの時間で
読めるものだろうか

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 13:23:06

>>469
コメントどころか基本設計詳細設計まである
要は複雑なshellの経験者って簡単に集められないから
なんでもshellでやるのもよくないねみたいな

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 13:36:10

うそーん

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 13:40:18

自分には解って他人には解りにくいコードをわざと用いること。
コメントもドキュメントも残さないこと。

リストラ時代の保身テクニックですな。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 13:52:46

>>473
そこまでやっているなら、問題ないと思うけどなあ
bashのバッチで書かずに何でやるのよ？
学習するチャンスだし、峠を越えたら、あとあと楽になりそうなんだが
今ならPython？

その反省を踏まえて、1から再設計するなら、どういう比率でどの言語でやるんですか？

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 13:54:18

>>475
それで褒められるのはdjbみたいな教祖様だけだろ。
まあ、djb信者以外は誰も褒めないけどさ。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 14:07:00

>>476
シェルスクリプトなんて(大幅に譲歩して)100行を越えたら
別のスクリプト言語で書き直すべきだと思う。
それこそ、PythonでもRubyでも良いからさ。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 14:09:06

GNUのconfigureに言ってくれ

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 14:54:27

>>478
わかる気もするけど
Pythonをちょっとやったけど、クラス化、パッケージ化とか、ちゃんと理解していないんだよなあ
比較的に若い言語というのもあって、他の言語の良いところを取り入れて、すごく書きやすいし、保守しやすいしでいいんだけど、
Pythonで使える概念を全部使って書かれたものを、設計を理解して、他人が保守するとなると大変そうだよね

LL言語でもPerl派、Ruby派、Python派といるだろうし
使用する言語を感情論では決めるべきではないけど
Python派「Rubyを使うなら、コメントどころか基本設計詳細設計まであるbashのバッチでいいじゃん」という意見もあるだろうし
>>473の選択でよかったんじゃないかと思う

もちろん、LL言語でいくのもありだと思うし、後任者の労力的には大差ないと思うけどさ

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 14:58:54

シェルスクリプトで書いてあって理解できないなら他のでも無理だとおもうヨ

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 23:05:09

単純な機能ごとに処理を区切って関数化し、相応の名前を付けて書けば
どんな言語だろうと大枠で理解できるよね。過不足なくコメントも付けてさ。

んで、\\\\　みたいなトリッキーな処理は、ちょっと詳しく説明をコメントで
書いてあげればいいはず。

これで理解できなければ後任者が無能、逆に上記のように作られてなくて、
C言語でいうところの、全部がグローバル変数だったり、main関数だけの
ような構造であれば前任者が無能。

ネット関連の超有名企業に勤めてるんだが、エラー処理もロクにない
クソスクリプトばっかりで笑ってしまうorz

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 23:15:01

シェルスクリプトでは基本的に全部がグローバル変数なわけだが。

あと、「詳しく説明をコメントで書く」って言うけど、
書くなら当然英語で書くと言う意味で言ってるんだよね?

エラー処理をちゃんとやらなくても済んでしまうのがシェルスクリプトのいいところ。

**名無しさん＠お腹いっぱい。** · 2009/04/18(土) 23:47:59

全部グローバル変数なのは仕様だから仕方ないけど、書き方ってもんがあるじゃん。
# 漏れは、局所化したいだけの理由でlocalが書けるbashスクリプトにしちゃうことあるけど。

英語でコメント書かないといけない理由は分からん。

エラー処理してなくてショボイ不具合が結構出るのも納得いかん。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 00:42:21

>>483, 484
昔は、loop 系は sub-shell 起こすから loop 内部で宣言した
変数は loop 外から参照できないってのがあったんだが

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 00:54:53

今でも、whle とかに | 使うとサブシェルになるね。
ならない高機能シェルもあるけどさ。
ループ外で変数が取得できないのは意外と不便ｗ

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 01:29:35

shってシンプルだが癖は強いからなあ。
ベル研系の言語はどれもそうだな。
副作用禁止で退屈なコード書きましょうと教育された世代には
厳しいもんがあるよ

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 01:42:00

純正だしｗ

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 03:39:34

>>487
awkやRATFORは当時凄くシンプルで仕様の美しい言語。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 08:27:53

>>484
> 英語でコメント書かないといけない理由は分からん。

当然社内に外国人担当者もいる。
書いたスクリプトが海外の支社に回ることもある。
コンソールなど日本語が通らない環境でもスクリプトを読みたい時がある。
シェルによってはコメントに日本語が入ったスクリプトをLANG=Cで実行すると発狂する
日本語だと、EUCかUTF-8かJISかSJIS(←これはないが)か悩む必要がある。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 11:04:10

偽英語で意味不明のコメント書かれるよりは…
コメント書くために時間かけられるよりは…
時間書けるのを避けるために嘘コメントが残るよりは…
というわけで、母国語のコメント推奨。

必要な時に翻訳すれば良い。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 11:09:32

ローマ字を使えば全て解決

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 15:45:28

>>482
\\\\の処理具体的にどういう話？
どんだけトリッキーなのか、簡単な処理でいいので解説してちょ
>>491
技術文書なんだから中学英語でいいじゃん
英語説明に不安なら同じ説明を違う言い方で二回書けばいいんじゃねえ？
それか、使い方の例を載せるとか

エロイ人は計詳細設計も英語onlyなのかな？
日本語でしっかり書いて、英語で簡単な説明を書くみたいな感じ？
>>491
母国語のコメント推奨とかいうヤツってマジで害悪だよ
母国語の説明に飢えているなら、readme_jp.txtで簡単な説明を書いてもらえいいんじゃない

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 16:03:59

>>493
日本がいやなら出てけよ。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 16:50:33

bashみたいなshに変な機能が追加されてるシェルで悩むくらいなら
cshで書いてしまったほうが圧倒的な汎用性を得られる。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 16:56:24

>>495
釣りとしても面白くない。

最近のLinuxには (t)cshがデフォではインストールされていない。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 16:59:29

>>495
さすがに論外なんじゃない？
それならLL言語で書いてもらったほうがいい。

Perlだとちょっとこわいけど。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 17:13:56

>>494
プログラマーの共通言語は英語。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 17:25:26

>>494
1世紀ちょっと前にちょんまげを切ったんだから、そろそろ近代化しようぜ

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 17:49:34

ダクラス・マッカーサーが「アメリカがもう40代なのに対して日本は12歳の少女だ」
と表現したのを知らないの？
実際、そうだったわけだが。

今は、いくつなんだろうか。大学卒業したぐらい？

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 18:36:15

>>500
それは民主主義の成熟度に対して言ったものなので
全然話が違いますがな。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 18:43:05

40のオッサンが12歳の少女をレイプしまくった訳ですね

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 19:03:28

国家としての成熟度じゃ、日欧にかないませんわな、アメリカは。どう足掻いても。

まぁその欧の中でも英国は大陸の神話とかに対し憧れとかあるらしいが。トールキンに
関する話によれば。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 19:36:07

>>501
明治になって、至ってまともな民主主義だったと言われているよ。
朝日だって最初は反戦だったけど、反戦だと売れないから戦争に賛成になったわけで。
本だって発禁されても、出版社は発禁本と逆に名乗って、商売して儲けたらしいし。
改憲派の中でも明治憲法が理想の人は結構多いと思うよ。

そりゃあ、西欧の民主主義と比べたら歴史の年数が違うから成熟したとは、言い難いし。
宗教や人種で30世紀近くさんざん揉めている国々との外交力の差は明らかだよね。

なんというシェルスクリプトスレｗ
明治憲法みたいに真面目に設計すればいいものはできるという話かｗ
後任者の保守運用が・・・

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 19:57:15

2chは末期だな

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 20:26:19

>>500
奴隷制度現役だった国に言われたくはないわｗ

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 20:31:34

>>504
法学板にでも行きなされ。うざいよ。

ところで、読む相手が日本人しかいないと分かってるスクリプトに
無理して英語でコメントを書くのは時間の無駄じゃないかな。
UTF-8で書いてあれば問題は起こらないわけだし。

**501** · 2009/04/19(日) 21:01:45

本題に戻って、おまいらちょっくら教えてください。
↓のような感じのPOPのLOGINログを抜き出したのが山のようにあります。
---
Apr 19 01:23:45 popsvr1 pop3d: [ID 232323 mail.info] LOGIN, user=hogehoge, ip=[192.168.1.2]
(popsvr1はホスト名、232323は固定値(再起動しない限り不変)です)
---

このログから「2009/04/19 01:23:45,hogehoge,192.168.1.2」のように
日時とユーザ名とIPアドレスを抜き出してCSVに変換したいのですが、
シェルスクリプトで高速に動かすうまい方法はないでしょうか？
＃年は今年(date +'%Y'で得られる年)とします。

とりあえずcutコマンド等をひたすら使った稚拙なスクリプトは作っては
みたものの、30万行ほどログを処理させると、Core2Duoのそこそこの
CPU環境でも20分ぐらいかかってしまいまつ。(´・ω・`)

何かうまい方法があったら教えてください。おながいします。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 21:12:11

>>508
とりあえず、kshで実行してみたら？
それでも遅いのなら、シェルスクリプトで実行すること自体が
問題なのだと思う。

**501** · 2009/04/19(日) 21:22:29

>>509
ありがとうございます。
/bin/shで実行させていたので、明日試してみます。
(手元に実行環境が無いもので…)

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 21:26:41

>>508
あえてシェルの内部コマンドだけで書いてみたよ。
↓

while IFS=' =,[]' read mon day time d1 d2 d3 d4 d5 d6 d7 user d8 ip
do
echo 2009/$mon/$day $time,$user,$ip
done

あと、Aprを 04に変換したりするのだけパイプで sed でやってね。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 21:29:32

>>508
そのスクリプトでトータル何行(未来の行数も含めて)のログを処理させたいの？

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 21:34:50

>>511
そこまでできてるなら、echoの直前に

case $mon in Jan)mon=01;;Feb)mon=02;;Mar)mon=03;;Apr)mon=04;;..省略..;;esac

の行を入れれば sedも不要。全部シェルでできる。

**501** · 2009/04/19(日) 21:43:29

>>511, >>513
ありがとうございますた。参考にさせていただきまつ。m(__)m

>>512
今のところ30万行ぐらいなんですが、もしかしたら最大で
500～600万行ぐらい処理するかもしれません。

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 23:05:25

プログラミングで飯喰ってるPGならシェルスクリプトや何の言語でもさっと読んで理解するのを期待したい所では有るな。
コメントに頼るレベルで、プログラムで飯喰おうってのが甘い気がする。
もちろん母国語的、得意な言語が有って、それで前任者のプログラム置き換えていけばいいと思うけどね。
前任者がシェルスクリプトで組んでても、修正出来ないじゃ、作り直すしか無いし。

汎用的なシェルスクリプトよりは、いろいろな環境の癖を知って臨機応変に組めたほうが重宝すると思う。
いろんな環境を体験する事かな。SunOS, Solaris, Linux(rhel系,フリー系), Windows(cygwin, interix)ぐらいかなあ。SunOSはもう流石に無いと思いたいｗｗｗ

**名無しさん＠お腹いっぱい。** · 2009/04/19(日) 23:15:44

>>515
つ http://pc12.2ch.net/test/read.cgi/unix/1012927963/

**名無しさん＠お腹いっぱい。** · 2009/04/20(月) 01:23:45

>>515
うちのところにもこういう人います。
意外と仕事が雑なんですよね・・・

**名無しさん＠お腹いっぱい。** · 2009/04/20(月) 01:57:50

>>508
Apr 19 01:23:45 popsvr1 pop3d: [ID 232323 mail.info] LOGIN, user=hogehoge, ip=[192.168.1.2]をただ300万行コピペしたファイルをうちの並のマシンで1分38秒出た
メモリも喰わないし、シェルスクリプトってかなりいいタイム出すんだね

$ time ( cat pop-300.txt | ksh 2ch-shell-20090419a-foo.sh >> pop-300.cvs ) &
[7] 27015
$
real 1m38.872s
user 0m26.174s
sys 1m12.485s

[7] Done time ( cat pop-300.txt | ksh 2ch-shell-20090419a-foo.sh >> pop-300.cvs )
$ wc pop-300.cvs
300000 600000 12900000 pop-300.cvs
$ tail pop-300.cvs
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]
2009/04/19 01:23:45,hogehoge,[192.168.1.2]

**518** · 2009/04/20(月) 02:23:18

bashよりkshは3.5倍速った
こんなに違うのか

$ time ( cat pop-300.txt | sh 2ch-shell-20090419a-foo.sh >> pop-300.cv2 ) &
real 5m45.010s
user 4m31.791s
sys 1m11.200s
$ time ( cat pop-300.txt | bash 2ch-shell-20090419a-foo.sh >> pop-300.cv3 ) &
real 5m47.776s
user 4m34.900s
sys 1m12.200s

**名無しさん＠お腹いっぱい。** · 2009/04/20(月) 02:31:55

空行を五行文だすときに
------------------------
echo aaa
echo ""
echo ""
echo ""
echo ""
echo ""
echo bbb
------------------------

以上のようにしているのですが、もっとエレガントな方法ってないですか？
イメージ的には
echo "" * 5
ってやると空行が五行文出力されるようなものです。

**名無しさん＠お腹いっぱい。** · 2009/04/20(月) 02:54:54

echo "aaaa"
for i in `seq -w 5`; do echo ""; done
echo "bbbb"
for i in "" "" "" "" ""; do echo $i; done
echo "cccc"
printf "\n"; printf "\n"; printf "\n"; printf "\n"; printf "\n";
echo "dddd"
echo; echo; echo; echo; echo;
echo "eeee"
# どれか?
# というか、普通にecho ""を縦に並べたほうがみやすいんじゃないの?

シェルスクリプト総合 その14

シェルスクリプト総合その14