トップページunix
987コメント345KB

シェルスクリプト総合 その13

■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。2008/10/16(木) 00:48:38
シェルスクリプトの総合スレです。
スクリプトのお勉強・自慢・腕試しなどにどうぞ。
まずは注意点、リンク、地鎮祭など(>>1-6くらい)をご覧ください。


□お約束
・特記なき場合はBourne Shell(/bin/sh)がデフォルトです。
 bash/zsh/ksh/ashなどに依存する場合は明示しましょう。
 Linuxユーザは/bin/shの正体がbashなので特に注意。
・csh/tcshのシェルスクリプトは推奨されません。
(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
 manや参考リンクを見ましょう。
 aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルスクリプトのことをシェルってゆーな
・シェルで使えるワイルドカード等は正規表現ではありません。
正規表現の話題はスレ違い(正規表現スレへ)

□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
 RubyやPerlの方が適した仕事には素直にそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。

前スレ
シェルスクリプト総合 その12
http://pc11.2ch.net/test/read.cgi/unix/1218277263/
0021名無しさん@お腹いっぱい。2008/10/18(土) 08:58:28
psの結果をgrepするのはお勧めしない。
関係ない文字列にマッチする可能性とかがあるから。

pgrep使え。
0022名無しさん@お腹いっぱい。2008/10/18(土) 10:01:59
>>20
理解しました!
0023名無しさん@お腹いっぱい。2008/10/18(土) 10:11:28
>>22
>>21 は理解しないのかよw
0024名無しさん@お腹いっぱい。2008/10/18(土) 10:29:35
質問は-vオプション指定時の終了ステータスに関するものだから。
>>19の頭に「grep の戻り値で疑問なんすけど」と書いてある。

>>21は知識をひけらかしたくてしょうがない中二病。
0025名無しさん@お腹いっぱい。2008/10/18(土) 10:33:36
>>24
それは手段であって、目的ではないことはエスパーすればわかる。

前スレで、command1 | command2 とやった時、
command2の終了ステータスのみが反映されますよね? と聞いてた人と
同一人物だということも、エスパーすればわかる。
0026名無しさん@お腹いっぱい。2008/10/18(土) 10:35:03
>>21くらいの書き方ならセーフだろ。
0027名無しさん@お腹いっぱい。2008/10/18(土) 10:35:34
>>25はアウト
0028名無しさん@お腹いっぱい。2008/10/18(土) 10:45:18
エスパーは隔離スレに引っ込んでいなさい。
0029名無しさん@お腹いっぱい。2008/10/18(土) 10:59:50
psに限らず、human readableを意図したコマンドの出力をgrepするのって間抜けだよなぁ。
ls -l とかもね。
0030名無しさん@お腹いっぱい。2008/10/18(土) 11:08:58
人が見るためにgrepするのは問題ない。むしろ普通。
0031名無しさん@お腹いっぱい。2008/10/18(土) 11:11:49
$?を得るのが目的なら、人が見るためじゃないしなぁ
0032名無しさん@お腹いっぱい。2008/10/18(土) 11:59:18
psは出力書式が指定できるから、
どっちかというと扱いやすい方。
0033名無しさん@お腹いっぱい。2008/10/18(土) 13:17:07
ps -ef | grep [h]oge
0034名無しさん@お腹いっぱい。2008/10/18(土) 13:25:53
>>33
これはあたまいいっすね
0035名無しさん@お腹いっぱい。2008/10/18(土) 13:27:47
>>33
アフォか。vi hogeとかに引っかかる。
0036名無しさん@お腹いっぱい。2008/10/19(日) 08:06:41
まあそうだけど。
pgrepが無い環境は私の周りにはほとんど無いから、pgrep使ってるよ。
0037名無しさん@お腹いっぱい。2008/10/20(月) 21:13:59
sed についてですが、/を含むファイルを d で削除する場合、
デリミタを : に変更して対処する方法がありますでしょうか。

sed ':/usr/local/hoge:d' hoge.txt のように処理したいのですが、
デリミタの変更は s や y の無い構文では変更できなくて苦悩中です。

sed 's:dummy:dummy:; :/home/hoge.txt:d' hoge とやれば処理可能です。

やりたい事は、sed 's:/usr/local/hoge::' で文字列を削除しても
改行が残ってしまうので、改行まで削除したいと思っています。

何か良案ありませんでしょうか。
0038名無しさん@お腹いっぱい。2008/10/20(月) 21:21:37
GNU sed なら man に書いてある。
他なら知らん。
0039名無しさん@お腹いっぱい。2008/10/20(月) 21:23:52
sed -e '\:/usr/local/hoge:d'
POSIXにもある
0040名無しさん@お腹いっぱい。2008/10/20(月) 21:29:44
findでファイルリスト取りたいんですが
ファイルタイプ dとかfとかlとか出せないですかね?
0041名無しさん@お腹いっぱい。2008/10/20(月) 21:34:17
なんだって?
0042名無しさん@お腹いっぱい。2008/10/20(月) 21:49:26
find -type d -exec echo d {} \; -or \
-type f -exec echo f {} \; -or \
(省略)
っていう糞みたいな案が思いついた
0043名無しさん@お腹いっぱい。2008/10/20(月) 21:52:40
findのprintfで
名前,ユーザ,タイムスタンプ,権限,リンクならリンク先,ディレクトリとかファイルとかリンクとかの種類

みたいな感じのCSVを出力したいわけですよ
しかしファイルタイプの取り方が分からず
あとリンク切れだったら教えて欲しいですね
0044名無しさん@お腹いっぱい。2008/10/20(月) 21:54:43
>>40
GNU findなら、

find /dir -printf '%y %f?n'
0045名無しさん@お腹いっぱい。2008/10/20(月) 22:26:05
>>38
man に記載がありましたか。失礼しました...

>>39
ありがとうございます。
試してみます。
0046名無しさん@お腹いっぱい。2008/10/20(月) 22:26:59
     _, / ̄⌒i⌒ ̄\___
   /  /.;  ; .  | .;   ヘ ;`i
  / .;   ,;   . .; |  .;   .; .; i
  ヽ._/ . .; .; .; |   .;  ヾ_/   / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
    i´  .  ;   | .;   .; `i    | 
    `x ,. _ヽ | /----x'=-+   | 純正 find でヨロ
    | 6〉,/  。i._|_|/。 `ヽ,| #l)   | 
   └-ヽ;ー‐'__└---===-┘  <  
   c==<< ̄ ̄ ̄ ̄>>.===o゛   \_________
      /  ヾ二二//ゝ、         ___, ----―
 ̄i⌒/´   ヾ  ̄ ̄/   `i⌒ヽー、 ̄ ̄|    |     |
  ヽ ゝー─---、_/---─ノ  ノ  |   |    |  _ -‐
0047名無しさん@お腹いっぱい。2008/10/20(月) 22:39:14
-exec ls -dF {} \;
あたりで、出力をsedかawkで加工。
0048名無しさん@お腹いっぱい。2008/10/20(月) 22:48:43
>>43みたいな要求なら
-exec ls -dl {} \; -exec ls -dlL {} \; して、
比較とか含めてawkあたりで加工するしかなさそうね
0049名無しさん@お腹いっぱい。2008/10/20(月) 23:15:17
perl(python, ruby)を避ける理由はない。
0050名無しさん@お腹いっぱい。2008/10/20(月) 23:31:41
ありがとうございます。

今は手元のLinuxのGNU findでしか試せてないんですが、
>>44の%yでf,d,lとかが取れるのはありがたいですね

実際に動かしたいのはsolaris(詳細は忘れた)も混ざってるので、使えないのかもしれませんが。

使えなかったら>>42>>47>>48を参考に-exec ls加工でやりたいと思います。

ちなみにリンク切れというのはGNU findでも検知できないんでしょうか?
0051名無しさん@お腹いっぱい。2008/10/21(火) 07:48:01
日本語化されてるんだからマニュアル読みなよw
あと「検知」した後どうしたいのか書いた方がいい。
0052名無しさん@お腹いっぱい。2008/10/21(火) 10:20:21
sortコマンドでドメイン名を整列したいのですが、

bbb.example.com
aaa.example.com
example.com
example.co.jp



example.com
aaa.example.com
bbb.example.com
example.co.jp

のようなことは出来ますか?
ピリオドを区切り文字にして、右側のフィールドから順に評価してくれればイイのですが。
0053名無しさん@お腹いっぱい。2008/10/21(火) 10:31:35
>>52
Perl か何かで書いちゃえば?
http://d.hatena.ne.jp/peanutsjamjam/20080108
0054名無しさん@お腹いっぱい。2008/10/21(火) 11:41:03
>>53
> http://d.hatena.ne.jp/peanutsjamjam/20080108
ここの例だと、ハイフンがあると破綻するな。
0055名無しさん@お腹いっぱい。2008/10/21(火) 21:43:35
>>52
awk -F. '{ for (i=NF; i>0 ; i--) { printf("%s ", $i) }; print("") }' | sort | awk '{ for (i=NF; i>0 ; i--) { printf("%s.", $i) }; print("") }' | sed 's/\.$//'
0056名無しさん@お腹いっぱい。2008/10/21(火) 22:04:40
sort -i にした方がたぶん目的にはかなってるとおも
0057名無しさん@お腹いっぱい。2008/10/22(水) 11:02:44
rev | sort | rev
0058522008/10/22(水) 11:13:00
みなさま、どうも有り難うございます。
sortコマンドだけでは無理っぽいので、>>55さんの方法でやることにします。
"sort --sort=domainname"とか出来ればイイのですが。

>>56
> sort -i にした方がたぶん目的にはかなってるとおも
???GNUのsortだと -i は印刷不可能な文字を無視するだけのようです。
0059名無しさん@お腹いっぱい。2008/10/22(水) 13:16:57
すまぬ、-f だ
0060552008/10/23(木) 12:03:26
>>58
> "sort --sort=domainname"とか出来ればイイのですが。

コマンドを組み合わせてやっつけるのがシェルスクリプトの妙味ですので。
特殊な処理をコマンドに埋め込み始めるときりがないので。
0061名無しさん@お腹いっぱい。2008/10/23(木) 12:29:04
なんでもかんでも無理にシェルでやろうとせずに、awkとかperlとかrubyとか使えば簡単なのに。
0062名無しさん@お腹いっぱい。2008/10/23(木) 12:41:48
>>61
スレタイ読めよ
0063名無しさん@お腹いっぱい。2008/10/23(木) 13:22:17
>>1読めよ
0064名無しさん@お腹いっぱい。2008/10/23(木) 13:38:55
>>52をsh抜いてawk, perl, ruby, pythonだけで書くと>>55より簡潔に書ける?
sortの行指向をうまく利用しているからかなり簡潔になってるよ。
0065名無しさん@お腹いっぱい。2008/10/23(木) 14:45:30
#!/usr/bin/python
import sys
def sort_key(line):
    L = line.split('.')
    L.reverse()
    return L
for line in sorted(sys.stdin, key=sort_key):
    sys.stdout.write(line)
0066名無しさん@お腹いっぱい。2008/10/23(木) 15:17:58
puts ARGF.readlines.sort_by {|x| x.split(".").reverse}
0067名無しさん@お腹いっぱい。2008/10/23(木) 16:45:59
だからcase insensitiveでソートしろと。
0068名無しさん@お腹いっぱい。2008/10/23(木) 17:01:13
>>65
> L = line.split('.')
< L = line.lower().split('.')
0069名無しさん@お腹いっぱい。2008/10/23(木) 17:06:27
>>66
> 〜 x.split(〜
< 〜 x.downcase.split(〜

以上スレ違い話終了
0070名無しさん@お腹いっぱい。2008/10/24(金) 02:17:58
sort -n に対応する事をスクリプト言語でする時はどうするんかいな
0071名無しさん@お腹いっぱい。2008/10/24(金) 02:39:34
system()
0072名無しさん@お腹いっぱい。2008/10/24(金) 08:46:37
>>70
比較時に数値化(rubyなら to_iとか)
0073名無しさん@お腹いっぱい。2008/10/25(土) 01:06:59
%w|hoge100fuga hoge9fuga|.sort_by {|e|
[e.gsub(/\d+/, '#'), e.scan(/\d+/).map {|e| e.to_i}]
}
メンドクサ
0074名無しさん@お腹いっぱい。2008/10/25(土) 01:20:42
map {|e| e.to_i}は map(&:to_i) と書けるが、そのくらいかな、縮むのは。
0075名無しさん@お腹いっぱい。2008/10/25(土) 09:18:57
def embedded_numbers(s):
    pieces = re.split(r'(\d+)', s)
    pieces[1::2] = map(int, pieces[1::2])
    return pieces
ary.sort(key=embedded_numbers)
0076名無しさん@お腹いっぱい。2008/10/25(土) 21:56:24
ある文字列を,最後の1文字と,残りの前半部分の文字列に分けるにはどうすればいいですか?
最後の文字を変数 LAST_LETTER に,残りの文字列を FIRST_LETTERS に代入するように
してもらえるとありがたいです。
0077名無しさん@お腹いっぱい。2008/10/25(土) 22:03:53
s="foobarbaz"
expr "$s" : "\(.*\)."
expr "$s" : ".*\(.\)"
0078名無しさん@お腹いっぱい。2008/10/25(土) 22:12:09
>>76
方法は2つ

1。正規表現
2。文字列の長さを測って、1引いた長さと、その場所から1文字をとる

0079名無しさん@お腹いっぱい。2008/10/25(土) 22:20:34
>>77
惜しいね。そこまでわかってても、最後に LAST_LETTER FIRST_LETTERS に
代入するのができてないから、満点あげられないね。

>>78
77に具体的な答が(不完全だけど)出てるのに何言ってんだか。
具体的な答がないので点はあげられないね。
0080名無しさん@お腹いっぱい。2008/10/25(土) 22:29:44
S="foobarbaz"
FIRST_LETTERS=${S:0:${#S}-1}
LAST_LETTER=${S:${#S}-1}
0081名無しさん@お腹いっぱい。2008/10/25(土) 22:34:53
>>80
bash依存
0082名無しさん@お腹いっぱい。2008/10/25(土) 22:38:38
STRING=abcde

FIRST_LETTERS=${STRING%?}
LAST_LETTER=${STRING#"$FIRST_LETTERS"}

echo "$FIRST_LETTERS"
echo "$LAST_LETTER"
0083名無しさん@お腹いっぱい。2008/10/25(土) 22:50:35
>>78
>>82 は、正規表現も使っていないし、文字列の長さも測っていない。
よって、方法は3つ(以上)あることになる。
0084名無しさん@お腹いっぱい。2008/10/25(土) 22:52:58
スレ違いだがLEADING_LETTERSにしてくれ。
0085762008/10/25(土) 23:44:06
回答ありがとうございました。

>>84
LEADING_LETTERSの方が良かったですかね。
指摘ありがとうございます。
0086名無しさん@お腹いっぱい。2008/10/26(日) 00:14:49
>>81
正直、ここらの文字列操作はどれがbash拡張なのかどうか、
/bin/shがbashな環境にいると判別できないな。
0087名無しさん@お腹いっぱい。2008/10/26(日) 00:56:43
大手ECサイトのヨドバシドットコムが、サイトリニューアルから大規模な障害を3日間...
http://detail.chiebukuro.yahoo.co.jp/qa/question_detail.php?qid=1220150877

506 :目のつけ所が名無しさん:2008/10/26(日) 00:47:20
大手ECサイトで、ここまで派手なリリース失敗は初めて見た。
エンジニア向けIT情報誌や関連サイトは、ぜひ取材して原因を明かして欲し
いは。
0088名無しさん@お腹いっぱい。2008/10/26(日) 08:36:19
>>86
UNIXで/bin/shがbashな環境なんてあるの?

あ、opensolarisとか??
0089名無しさん@お腹いっぱい。2008/10/26(日) 09:00:58
>>88
MacOS X
0090名無しさん@お腹いっぱい。2008/10/26(日) 11:02:55
>>88
LinuxはUNIXじゃないという煽りなんですね お疲れ様です
0091名無しさん@お腹いっぱい。2008/10/26(日) 12:57:35
>>90
LinuxをUNIXにしたらLinuxが嫌なんじゃない?
UNIXじゃ無いのがアレの誇りなんじゃないの?
0092名無しさん@お腹いっぱい。2008/10/26(日) 12:58:13
>>90
linuxというくくりでは/bin/shが何なのかは明確じゃないからな。
0093名無しさん@お腹いっぱい。2008/10/26(日) 13:45:38
Mac OS X はスレ違いだろ
0094名無しさん@お腹いっぱい。2008/10/26(日) 14:30:56
>>93
なぜ?
LinuxやFreeBSDと違って、れっきとしたUNIXだよ。
0095名無しさん@お腹いっぱい。2008/10/26(日) 14:43:57
アスファルトみたいな燃料じゃちょろちょろとも引火しないぜ
0096名無しさん@お腹いっぱい。2008/10/26(日) 21:27:04
前スレか前々スレあたりで、"$@" と書くべきか、${1+"$@"}と書くべきかって議論、
あったと思うけど、

zshで、setopt shwordsplit してる環境だと、
${1+"$@"} ではスペースが不本意に解釈されてしまって、引数がそのまま引き継げない。
やはり、単純明快に "$@" と書いた方が良いという結論。

$ zsh
zsh$ setopt shwordsplit
zsh$ set 'hoge boke'
zsh$ for i in ${1+"$@"}; do echo "$i"; done
hoge ← 2つに分かれてしまう
boke ← 2つに分かれてしまう
zsh$ for i in "$@"; do echo "$i"; done
hoge boke ← 正常
0097名無しさん@お腹いっぱい。2008/10/26(日) 21:35:29
>>96
> zshで、setopt shwordsplit してる環境だと、

当たり前やんw
すげえピンぼけ

0098名無しさん@お腹いっぱい。2008/10/26(日) 21:43:22
>>97
なんで当たり前?

zsh以外では setopt shwordsplit状態がデフォだよ。
それで、${1+"$@"} は "$@"と同様に動作する。

で、${1+"$@"} が、word split されるのは zshのバグと言える。
0099名無しさん@お腹いっぱい。2008/10/26(日) 22:50:20
findでファイル名に数字がつかわれてないものを引っ掛けたいんですが
-name のかっこいい正規表現でいけないですか?
0100名無しさん@お腹いっぱい。2008/10/26(日) 22:52:41
>>99
findの -name は正規表現ではありません。はい次
0101名無しさん@お腹いっぱい。2008/10/26(日) 22:54:30
>>99
-regex '[^0-9]*'
0102名無しさん@お腹いっぱい。2008/10/26(日) 22:59:07
>>99
-regex '.*/[^0-9]*'
0103名無しさん@お腹いっぱい。2008/10/26(日) 23:18:57
パス付きじゃなくてファイル名に対してはできないですか?
0104名無しさん@お腹いっぱい。2008/10/26(日) 23:25:04
>>103
-regex を使うなら、フルパスでしか指定できない。そういう仕様。
0105名無しさん@お腹いっぱい。2008/10/26(日) 23:27:37
>>99
-regex '.*/[^/0-9]*$'
0106名無しさん@お腹いっぱい。2008/10/26(日) 23:28:22
了解です
というか>>102でファイル名だけになってますね
ありがとうございました
0107名無しさん@お腹いっぱい。2008/10/27(月) 10:30:47
>>96
試したみたがそうはならんな。
まあzshスレの話題のような気もするが。

ちなみにv7 shもheirloom sh(OpenSolaris)も${1+"$@"}と書く必要がある。
(だから必ずそう書けといっているわけではない; 知っておいた方がいいというだけ)
0108名無しさん@お腹いっぱい。2008/10/27(月) 10:34:17
>>107
zshのバージョンは? 4.x または 5.x で症状が出る。
あと、ちゃんと setopt shwordsplit を設定したか?
0109名無しさん@お腹いっぱい。2008/10/27(月) 11:20:10
$ cat /tmp/foo ←>>96のコピペ
setopt shwordsplit
set 'hoge boke'
for i in ${1+"$@"}; do echo "$i"; done
for i in "$@"; do echo "$i"; done
$ zsh /tmp/foo
hoge boke
hoge boke
$ zsh --version
zsh 4.3.4 (i686-pc-linux-gnu)

zsh-newuser-installをquitしたので設定は何もない。
0110名無しさん@お腹いっぱい。2008/10/27(月) 11:42:08
>>109
zsh 4.2 だと >>96 の指摘通りになる。

zsh 4.3 だとバグフィックスされた?
01111092008/10/27(月) 11:55:03
setopt shwordsplitしようがしまいが結果は変わらんな
set 'hoge baka' ahoでも。
0112名無しさん@お腹いっぱい。2008/10/27(月) 12:09:18
>>111
だから、zsh-4.2 で試せと。

zsh-4.2 ならまだそう古いバージョンじゃないし、まだ使われてるし、
汎用性考えると "$@" と書くべきだな。
0113名無しさん@お腹いっぱい。2008/10/28(火) 22:37:42
初心者です。

ファイル名が、
年月日.種類.年日.場所.更新日時.拡張子
となっているファイルを扱っています。
年月日および年日(対応してます)は全部でおよそ400、場所は200〜300あり、
5種類分あるので、各種類約10万ファイル、全部で50万ファイルくらいあります。
この中から、年月日.種類.年日.場所.*.拡張子だけ同じで、
更新日時が違う複数のファイルを見つけ出し、古いファイルを消さねばなりません。

例を示すと
./2001.08.29/MOD15A2.A2001241.h15v03.005.2007052031007.hdf
./2001.09.06/MOD15A2.A2001249.h15v03.005.2007054111501.hdf
./2001.09.06/MOD15A2.A2001249.h15v03.005.2008278130254.hdf
./2001.09.14/MOD15A2.A2001257.h15v03.005.2007056161438.hdf
こんな感じです。この場合、2番目のファイルだけを消したいです。

ファイル名が完全一致の重複ではないだけに、どうしていいかわかりません。
できればお教えください。

ちなみにディレクトリ構造は、種類-年月日-ファイル、となっています。
0114名無しさん@お腹いっぱい。2008/10/28(火) 23:01:29
そのくらいの量だとシェルには荷が重くないか?
Perlあたりで書いた方がよくない?
0115名無しさん@お腹いっぱい。2008/10/28(火) 23:09:18
>>113
ヒントだけ。

全ファイルのリストをファイルに落す。(1行1ファイル名)
(ファイル作りたくなければパイプでも桶)

そのファイル(パイプ)を入力として、
対象フィールド限定で(更新日時フィールド以外で) uniq -d で重複行を出す。

その重複行それぞれについて、更新日時フィールドをワイルドカードにして
ファイル名リストをとる。この時、更新日時フィールドは結局辞書順に
並んでいるから、最後の行以外のファイルは古いファイルと判定できるから、
最後の行以外のファイルを rmする。
以上を、uniq -dが出力した各行について行なう。
0116名無しさん@お腹いっぱい。2008/10/29(水) 01:48:52
>>115
ありがとうございます!
考えてやってみます。
0117名無しさん@お腹いっぱい。2008/10/29(水) 03:16:42
シンボリックリンクの値を読む方法はreadlink以外にありますか?
readlink(1)がSUSv3に見当たらなくて驚いています
0118名無しさん@お腹いっぱい。2008/10/29(水) 08:26:48
ls -l
0119名無しさん@お腹いっぱい。2008/10/29(水) 10:27:19
>>113
ファイル名の桁が揃っていると仮定する。

sort -r d.txt | awk '{ k=substr($0, 0, 40); ++a[k]; print a[k], $0; }' | awk '$1 != 1 { print $2; }'
0120名無しさん@お腹いっぱい。2008/10/29(水) 11:01:42
>>117
perl -le 'print readlink($ARGV[0])' /hoge/file
■ このスレッドは過去ログ倉庫に格納されています