シェルスクリプト総合その8

**名無しさん＠お腹いっぱい。** · 2007/02/15(木) 14:28:44

シェルスクリプトの総合スレです。
スクリプトのお勉強・自慢・腕試しなどにどうぞ。
まずは注意点、リンク、地鎮祭など(>>1-6くらい)をご覧ください。

□お約束
・特記なき場合はBourne Shell(/bin/sh)がデフォルトです。
　bash/zsh/ksh/ashなどに依存する場合は明示しましょう。
　Linuxユーザは/bin/shの正体がbashなので特に注意。
・csh/tcshのシェルスクリプトは推奨されません。
(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
　manや参考リンクを見ましょう。
　aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルスクリプトのことをシェルってゆーな
・シェルで使えるワイルドカード等は正規表現ではありません。
正規表現の話題はスレ違い(正規表現スレへ)

□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
　RubyやPerlの方が適した仕事には素直にそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。

前スレ
シェルスクリプト総合その7
http://pc10.2ch.net/test/read.cgi/unix/1157601611/

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 15:14:41

質問
シェルスクリプトを、windowsでCD-Rに焼き、linuxで実行すると
改行がコマンドとして認識され、command not foundとなってしまいます。
普通に改行を改行として認識させることはできないのでしょうか？

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 16:33:41

よくわからんが改行コードの問題? 改行コードをLFで保存できるテキストエディタ使えよ

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 16:52:46

>>549
ありがとうとざいます
LFで保存したところ大丈夫でした。
ただし１行目だけはなぜかcommand not foundとなってしまう。。

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 20:15:14

log=20070101.log

$logを 2007-01-01
という風に、[西暦]-[月]-[日]な形にしたいのですが、どすればよいでしょうか？
どなたか、お力をお貸し下さいませ。

.log と取って、4桁、2桁、2桁ごとに「-」を挟む。というのはわかるのですが
方法や何のコマンド使ってよいものやら見当もつきません。お願いします！

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 20:26:09

echo $log | sed 's/$....$$..$$..$.*/\1-\2-\3/'

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 20:30:18

>>552 ありがとうございました！出来ました！
sedは使えるつもりでいたんですが、まだまだの若輩者でしたorz
こんなに早く答えて頂いて本当に助かりました。

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 23:42:52

じぇっとすとりーーーむ～

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 23:42:59

シェルが何かは分かったのですが、シェルスクリプトが良く分かりません…

専門用語を交えないで言うと、どういったものなのでしょうか？

**名無しさん＠お腹いっぱい。** · 2007/06/06(水) 23:44:51

シェルが何かどうわかったか、専門用語を交えずに説明してからだ

**名無しさん＠お腹いっぱい。** · 2007/06/07(木) 00:11:41

レストランのメニューがシェル。コース料理がシェルスクリプト。
大分違うな…

**名無しさん＠お腹いっぱい。** · 2007/06/07(木) 00:35:32

http://e-words.jp/w/E382B7E382A7E383ABE382B9E382AFE383AAE38397E38388.html

専門的な概念なのに専門用語使うなというのは無理な話。

**名無しさん＠お腹いっぱい。** · 2007/06/07(木) 02:08:21

>>557

その説明で開眼しました！！

今ならどんなプログラムも書けそうです！！
(＾ω＾)

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 00:50:30

if [ -e foo ] ;
then
echo "foo exists."
else
echo "foo does not exist."
fi
これを Solaris 8の bash, cygwinの sh, bashで実行するとOK。
でも Solaris 8の shで実行した時だけ
test: argument expected
と出てしまいます｡どうにも分かりません。助けて下さい…

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 03:13:50

Solarisなどの旧式shのtestコマンドには-eというものはない。
これは外部コマンドのtestも同様。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 06:27:46

>>561
ダウト。
Solarisの外部コマンド版のtestの実体はkshスクリプトだから、
Solarisでも外部コマンド版のtestには -eオプションがある。

ただし、純正Bourneには -eがないので、使わないこと推奨なのは同意。
[ -f foo ] あたりで代用だな。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 08:29:58

grepコマンドで検索した行の前後三行を出力するコマンドってないすか？

たとえば、以下のようなファイルがある。
----------------------------
aaa
bbb
ccc
ddd
eee
fff
ggg
----------------------------

grepコマンドをつかって、
$ grep ddd -a 333
とすると
bbb
ccc
ddd
eee
fff
と表示されるようなやつよ。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 08:45:56

>>563
-A とか -B とかない?

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 10:35:48

>>563
普通にgrepだけで行けるぞ
grep -A 3 -B 3 'ddd' filename

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 10:44:10

普通は-Aとか-Bなんてない。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:01:46

何が「普通」かなんて人それぞれでしょ。
-A がある grep とない grep がある。
それだけ。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:02:54

目的達成できるなら、それでいいじゃん

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:03:45

grep -n して
sedで : より前だけ取り出して
awkにくべて前後の必要な行番号を全部計算して
sort -nuして
sedでsedのコマンドに成形しなおして
sedで抽出。
てゆうか、grepにこだわらずにawk1個の方がめちゃ楽そう。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:04:44

>>569
awkだけだとどうなるの？

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:29:37

FreeBSDは変にsed使うよりawk1本に絞った方が軽い。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:43:53

複数行のテキスト整形には弱い
普通は、prelとかrubyを使う
まあ、perlとかruby使えないから聞いてるんだろうけど

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:52:15

>>572
sedやgrepでどうしようかななんて考えてる時間が無駄だよな
perl覚えちゃたほうがいいのにね、これを機会に

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 11:55:16

これを機会にGNU grep入れちゃえ。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 12:00:44

パタン行より前の行も表示しないといけないのでawk一本だとちょっと手間でしょ。
perlやrubyを使ってもそれは同じじゃないかな。
sed+awkなら
sed -e "$(awk '/pattern/{for (i=-2;i<=2;i++)if(i+NR>=0)print (i+NR) "{p;d;}"}' file|sort -nu)"';d' file

zshでしか試してないのでクォート回りはshだと違うかも知れんが、
だいたいこんな感じで。

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 12:19:38

GNUは偉大だな、改めて思った

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 12:26:01

当たり前じゃね？
だってGNU拡張は、ユーザが便利だと思うものを実装して
拡張していったんだから

きっと、>>563みたいなことを、数年前にも同じといってる人が
現れてんだよw
それで拡張されてる

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 12:40:49

GNU sed awk grep を使いましょうね

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 15:54:55

俺はgawk派

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 16:04:21

ガウォーク

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 16:14:46

GNU is Not UNIX
の意味がやっとわかったようでなにより

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 16:21:47

んでけっきょく >>563 はどうしたの？

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 16:25:28

GNU教に入信する準備をしてます

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 16:29:28

しこしこ、書いてんじゃね

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 17:38:00

mac でターミナルで操作しているのですが、safariでgoogleなどのページで
キーワードを打ち込んで検索させたりはできないものなんでしょうか？
初心者なんで仕組みなどわかりませんので構造上できないものなら教えてください

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 17:49:58

>>585
http://pc11.2ch.net/mac/

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 21:02:22

シェルスクリプトとGUIアプリの連携ってか？

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 22:41:28

質問です！
---hoge.txt---
aaa
bbb
ccc

これを

---hoge.txt---
aaa
ccc

こうしたい。

sed -i "s/bbb//g" hoge.txtだと

---hoge.txt
aaa

ccc

こうなってしまう・・・

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 22:49:06

sed -i -e '/bbb/d'

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 23:03:06

>>589
ありがとうございます！

**名無しさん＠お腹いっぱい。** · 2007/06/08(金) 23:37:42

GNU sedは正規表現のエスケープまわりが腐ってるんだよなあ
それに、わざわざBourne Shellに縛ったスレなのに、GNU拡張に依存するのもどうかと思う
ポータビリティも勘案すると、perl使った方がいい

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 10:18:52

GNU grepの-oは便利

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 11:53:54

>>592
ﾓﾚも-Po がマジ便利だと思う。

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 12:23:49

それを言ったらshよりzshのが便利だ

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 12:49:24

そうだよ

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 14:42:53

FreeBSDよりWIndowsのが便利だ

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 14:54:08

当たり前だろ

**名無しさん＠お腹いっぱい。** · 2007/06/09(土) 15:01:51

perlの書法がもっと自由度低かったら決定版たったのだが。
お行儀悪く書けてしまうのが悩みの種

**名無しさん＠お腹いっぱい。** · 2007/06/10(日) 01:08:21

お行儀良く書きたいならRubyなりPythonなりへ行けば良い
お行儀悪く書いても心が痛まないのがPerlの長所

**名無しさん＠お腹いっぱい。** · 2007/06/10(日) 01:10:39

use strict; するんだからそれほどひどいコードにはならないような

**名無しさん＠お腹いっぱい。** · 2007/06/10(日) 22:37:24

どーせワンライナーか数行でやれるようなのしかPerlで書かないから
どうでもいい

**名無しさん＠お腹いっぱい。** · 2007/06/15(金) 02:31:42

cshを勉強し始めたものです。
研究室で使うためです。
C言語もほとんど知らないので、取っ付きにくく、苦労してます。

今よく分からないのは、シェル変数と環境変数です。
普通に話に出てくるのですが、変数だとは理解してますが、違いが分かりません…

どなたか教えて頂けませんか？

**名無しさん＠お腹いっぱい。** · 2007/06/15(金) 02:41:57

シェル変数はシェルが使う
環境変数は（主に）呼び出されたコマンドが使う

それはいいとして、なんでcshかちゃんと確認しろ
csh使う必然性がなければ、shにしとけ

**名無しさん＠お腹いっぱい。** · 2007/06/15(金) 03:12:03

環境変数は子プロセスに引き継がれる。
シェル変数はそのシェルのみが使い、
子プロセスに引き継がれない。

**602** · 2007/06/16(土) 01:09:53

レス有り難うございます。

なぜcshなのかと言うと、今研究室で使われてるのがcshだとしか…

Cで書かれたソースプログラムをcshに渡して、
結果を他のプログラムに渡して……
って感じらしいです。

まだ学部なので、難しいプログラムは書けず、
既成のプログラムの値を変えて走らせたりするようです。

最近の課題が、あるcshの中身を渡され、理解してくるものでしたが、
プログラムの知識が無い自分にはさっぱりというわけです…

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 01:58:47

そんなに何種類もcshがあるのか？

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 03:31:44

cshで書かれたシェルスクリプトってとこじゃないか?

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 15:17:35

いや、cshの中身だぞ？

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 15:47:46

とりあえず>>605よ、
cshの中身というのはcshスクリプトという意味か?

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 16:11:27

こらこら、cshの話はもう終り。禁止。

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 16:53:10

GNU grepの話をしてもいいなら、cshも良くないか

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 18:01:05

良くない。

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 18:02:26

シェルスクリプトのスレでシェルのソースコードの話かぁ……

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 19:35:05

質問です。

ファイルの内容が同じものをリストアップする目的で、
対象ファイルのmd5sumを計算したいと考えています。
ただし、ファイルが大きいと時間がかかってしまうので、まずはファイル頭の
512バイトだけでmd5sumしたいです。以下のようなものを書いたのですが、
ファイル数が多い(1000とか)とプロセスの起動がボトルネックになってしまう
ようで、遅いです。

while read -r filename
do
dd if="${filename}" ibs=512 count=1 2> /dev/null | md5sum >> output
done < ${tempfile_prefix}2_filesize_onajiyatu

md5sumに先頭から512バイトだけで計算しろと指示することはできますか？
もしくは何かいい案ありますでしょうか？

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 19:45:20

えろ画の整理スクリプトかよ

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 19:49:09

違います。
エロ動画です。
だからでかいのです。

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 19:52:32

>>614
プロセス起動がネックならperlとかpythonとかrubyとか好きなのでやれ。

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 19:53:08

>>614
perl を使う

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 20:02:27

まずはファイルサイズで比較すればいいのに

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 20:11:47

粗く分けるのにmd5なんか使わんでも。
>>619 の通りファイルサイズが手軽だし、もし同じサイズで内容が違うものが
沢山ならファイル中の適当なところをhexdumpでもいいんじゃないの。

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 20:37:43

横から済まぬが

>>619,620

＞＞ ${tempfile_prefix}2_filesize_onajiyatu

って書いてあるから、そもそも同じサイズ限定ではないのか？

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 20:40:36

同じファイルサイズのものだけでも1000ファイルもあるって、
結構集めまくったね、絵炉動画をｗ

**名無しさん＠お腹いっぱい。** · 2007/06/16(土) 21:03:28

>617,618
perlか・・・ついに手を出すときが来たか

>619,621
失礼しました。サイズ比較をあらかじめこんなのでやってます。
ls -l "$@" | sed 's/ \+/ /g' | cut -d ' ' -f 5,8 > ${tempfile_prefix}1_filesize_all
awk '{ if(a[$1,0]==0){a[$1,0]=1;a[$1,1]=$0;} else{if(a[$1,0]==1){print a[$1,1];} a[$1,0]++;print $0;} }' \
${tempfile_prefix}1_filesize_all > ${tempfile_prefix}2_filesize_onajiyatu

>620
ためしに512byteのgomi.txtを作ってみて、以下試しました。
%time (for i in `seq 1 1000`; do cat gomi.txt > /dev/null 2>&1 ; done;)
-> 1.486sec
%time (for i in `seq 1 1000`; do md5sum gomi.txt > /dev/null 2>&1 ; done;)
-> 1.510sec
これくらいのサイズだと処理内容はあまり影響なさそうです。
md5sumの方が比較しやすかったのです。

>622
いやいや、得ろ動画とか1000個とか例えばの話ですよw

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 00:32:06

>>614
まずは、ファイルサイズではじいたら？

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 00:34:24

すまん。@bitwarpなもんで、更新漏れだった。
忘れてくれ

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 03:14:21

xargsでもつかえば？

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 04:00:08

気が向いたんでやってみた

$ time (for f in tmp/*; do dd if=$f bs=512 count=1 2>/dev/null | md5sum; done)
065d30715dcffa21596406373a9124ac -
...中略...
ed4cf7b8f209f9ce630b5e76219357ae -
(; for f in Desktop/*(.); do; dd if=$f bs=512 count=1 2> /dev/null | md5sum; ) 0.09s user 0.38s system 49% cpu 0.960 total

$ time perl -M'Digest::MD5(md5_hex)' -e 'for (@ARGV) { open F,"<$_"; read F,$a,512; print md5_hex($a),"¥n" }' tmp/*
065d30715dcffa21596406373a9124ac
...中略...
ed4cf7b8f209f9ce630b5e76219357ae
perl -M'Digest::MD5(md5_hex)' -e Desktop/*(.) 0.02s user 0.02s system 18% cpu 0.193 total

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 17:51:50

xargs使えって

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 20:19:20

絵炉動画ファイルは、ファイル名にスペースとか特殊記号とか入りまくりである
ことが多いため、xargsは全く持って不適当。

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:13:28

それならfor文やreadでも難しくならないか･･
まxargsのほうがもっと不適当なのだろうが

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:16:22

>>629
man xargs

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:24:09

>>631 は何がしたいんだろうか? まったく外してるわけだが、、

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:26:16

>>631
$ ssh solarishost man xargs

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:33:38

ファイル名の問題以前に、個々のファイルごとに頭の512バイトを切り出したいわけ
だから、xargs使ったところでプロセス起動数は節約できない。
よって、>>626 >>628 は全く的はずれ。

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:34:10

>>632
はずしているのはお前の方。

find ～ -print0 | xargs --null

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 21:47:33

>>635
はずしているのはお前の方。

-print0 や xargs --null は、一般には使えない。(たとえばSolaris)

あと、>>634 が指摘してるように、今回の件は xargsでは解決しない。

よって、そういう意味でも外しているのは >>635 の方。

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 22:10:53

-print0で喜んでるのは石器人。
現代人はふつー find ... -exec ... +

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 22:21:02

>>632 から某頭の悪い粘着君臭がする。

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 23:03:19

て言うか、プロセス起動数が云々と言うなら md5sum を改造するなり、
ファイル名の取得からハッシュの計算までやるようなアプリ作ればい
いじゃん。

**名無しさん＠お腹いっぱい。** · 2007/06/17(日) 23:14:55

>>617-618で既に正答が出てるの何を今更…

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 00:13:31

答えそのものも>627に出てるわけだが...

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 00:36:28

#find ... -exec ... +
横レスだが知らなかった
ってか手元のmanにはない

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 03:34:11

最後の「+」ってなに？

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 08:19:20

xargsは同じプロセスを連続起動するから
工夫されていると聞いたことがある。
これは事実?

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 15:14:11

基礎的な質問ですいません。

bashで、シェル変数に値を突っ込み -zで存在を確認する手法ですが、

if [ -z $test ] ; then
　echo "val exist"
else
　echo "val isn't exist"

質問
１．[ -z $test ] と書くのはよろしくない?
２．[ -e $test ] とすると、シェル変数が存在しない時に真、
　　シェル変数が存在する時に偽となるのはなぜ?

結構、このパターンで利用してたのですが、２．の動作を確認すると、
なぜだか逆になっているような。じゃ、-zもよろしくないのかなぁ、と

ところで、みなさんは、環境変数やシェル変数の存在確認をどうやってますか?
宜しくお願いします。

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 15:23:43

>>645
まず、[ ] の中ではシェル変数は基本的にダブルクォートを付けること。

[ -z "$test" ] とする。この場合、$testがセットされていれば偽になる。
これだと真偽が逆になってわかりにくいので、
[ -n "$test" ] または -n は省略できるので [ "$test" ] とする。

[ -e $test ] は、$testがセットされていない時、[ -e ] となってしまい、
これは、"-e" という文字列がサイズゼロかどうか(この場合は2バイト)という
判定がなされるため、$testがセットされていないと真になる。
一方、$testがセットされていると、今度は -e は -eオプションとして解釈され、
$testの中身がファイル名とみなされるため、そんなファイルがなければ偽になる。

更に言うと、-e は Bourne shでは使えないため非推奨。

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 15:39:39

>>646
ありがとうございます。
うーーん、なるほど。1行目でよく分かりました。

**名無しさん＠お腹いっぱい。** · 2007/06/18(月) 16:11:12

丁寧に説明してもらった理由を理解したのかしてないのかよくわからん回答だな

シェルスクリプト総合 その8

シェルスクリプト総合その8