シェルスクリプト総合 その13
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2008/10/16(木) 00:48:38スクリプトのお勉強・自慢・腕試しなどにどうぞ。
まずは注意点、リンク、地鎮祭など(>>1-6くらい)をご覧ください。
□お約束
・特記なき場合はBourne Shell(/bin/sh)がデフォルトです。
bash/zsh/ksh/ashなどに依存する場合は明示しましょう。
Linuxユーザは/bin/shの正体がbashなので特に注意。
・csh/tcshのシェルスクリプトは推奨されません。
(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
manや参考リンクを見ましょう。
aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルスクリプトのことをシェルってゆーな
・シェルで使えるワイルドカード等は正規表現ではありません。
正規表現の話題はスレ違い(正規表現スレへ)
□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
RubyやPerlの方が適した仕事には素直にそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。
前スレ
シェルスクリプト総合 その12
http://pc11.2ch.net/test/read.cgi/unix/1218277263/
0021名無しさん@お腹いっぱい。
2008/10/18(土) 08:58:28関係ない文字列にマッチする可能性とかがあるから。
pgrep使え。
0022名無しさん@お腹いっぱい。
2008/10/18(土) 10:01:59理解しました!
0023名無しさん@お腹いっぱい。
2008/10/18(土) 10:11:28>>21 は理解しないのかよw
0024名無しさん@お腹いっぱい。
2008/10/18(土) 10:29:35>>19の頭に「grep の戻り値で疑問なんすけど」と書いてある。
>>21は知識をひけらかしたくてしょうがない中二病。
0025名無しさん@お腹いっぱい。
2008/10/18(土) 10:33:36それは手段であって、目的ではないことはエスパーすればわかる。
前スレで、command1 | command2 とやった時、
command2の終了ステータスのみが反映されますよね? と聞いてた人と
同一人物だということも、エスパーすればわかる。
0026名無しさん@お腹いっぱい。
2008/10/18(土) 10:35:030027名無しさん@お腹いっぱい。
2008/10/18(土) 10:35:340028名無しさん@お腹いっぱい。
2008/10/18(土) 10:45:180029名無しさん@お腹いっぱい。
2008/10/18(土) 10:59:50ls -l とかもね。
0030名無しさん@お腹いっぱい。
2008/10/18(土) 11:08:580031名無しさん@お腹いっぱい。
2008/10/18(土) 11:11:490032名無しさん@お腹いっぱい。
2008/10/18(土) 11:59:18どっちかというと扱いやすい方。
0033名無しさん@お腹いっぱい。
2008/10/18(土) 13:17:070034名無しさん@お腹いっぱい。
2008/10/18(土) 13:25:53これはあたまいいっすね
0035名無しさん@お腹いっぱい。
2008/10/18(土) 13:27:47アフォか。vi hogeとかに引っかかる。
0036名無しさん@お腹いっぱい。
2008/10/19(日) 08:06:41pgrepが無い環境は私の周りにはほとんど無いから、pgrep使ってるよ。
0037名無しさん@お腹いっぱい。
2008/10/20(月) 21:13:59デリミタを : に変更して対処する方法がありますでしょうか。
sed ':/usr/local/hoge:d' hoge.txt のように処理したいのですが、
デリミタの変更は s や y の無い構文では変更できなくて苦悩中です。
sed 's:dummy:dummy:; :/home/hoge.txt:d' hoge とやれば処理可能です。
やりたい事は、sed 's:/usr/local/hoge::' で文字列を削除しても
改行が残ってしまうので、改行まで削除したいと思っています。
何か良案ありませんでしょうか。
0038名無しさん@お腹いっぱい。
2008/10/20(月) 21:21:37他なら知らん。
0039名無しさん@お腹いっぱい。
2008/10/20(月) 21:23:52POSIXにもある
0040名無しさん@お腹いっぱい。
2008/10/20(月) 21:29:44ファイルタイプ dとかfとかlとか出せないですかね?
0041名無しさん@お腹いっぱい。
2008/10/20(月) 21:34:170042名無しさん@お腹いっぱい。
2008/10/20(月) 21:49:26-type f -exec echo f {} \; -or \
(省略)
っていう糞みたいな案が思いついた
0043名無しさん@お腹いっぱい。
2008/10/20(月) 21:52:40名前,ユーザ,タイムスタンプ,権限,リンクならリンク先,ディレクトリとかファイルとかリンクとかの種類
みたいな感じのCSVを出力したいわけですよ
しかしファイルタイプの取り方が分からず
あとリンク切れだったら教えて欲しいですね
0044名無しさん@お腹いっぱい。
2008/10/20(月) 21:54:43GNU findなら、
find /dir -printf '%y %f?n'
0045名無しさん@お腹いっぱい。
2008/10/20(月) 22:26:05man に記載がありましたか。失礼しました...
>>39
ありがとうございます。
試してみます。
0046名無しさん@お腹いっぱい。
2008/10/20(月) 22:26:59/ /.; ; . | .; ヘ ;`i
/ .; ,; . .; | .; .; .; i
ヽ._/ . .; .; .; | .; ヾ_/ / ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄
i´ . ; | .; .; `i |
`x ,. _ヽ | /----x'=-+ | 純正 find でヨロ
| 6〉,/ 。i._|_|/。 `ヽ,| #l) |
└-ヽ;ー‐'__└---===-┘ <
c==<< ̄ ̄ ̄ ̄>>.===o゛ \_________
/ ヾ二二//ゝ、 ___, ----―
 ̄i⌒/´ ヾ  ̄ ̄/ `i⌒ヽー、 ̄ ̄| | |
ヽ ゝー─---、_/---─ノ ノ | | | _ -‐
0047名無しさん@お腹いっぱい。
2008/10/20(月) 22:39:14あたりで、出力をsedかawkで加工。
0048名無しさん@お腹いっぱい。
2008/10/20(月) 22:48:43-exec ls -dl {} \; -exec ls -dlL {} \; して、
比較とか含めてawkあたりで加工するしかなさそうね
0049名無しさん@お腹いっぱい。
2008/10/20(月) 23:15:170050名無しさん@お腹いっぱい。
2008/10/20(月) 23:31:41今は手元のLinuxのGNU findでしか試せてないんですが、
>>44の%yでf,d,lとかが取れるのはありがたいですね
実際に動かしたいのはsolaris(詳細は忘れた)も混ざってるので、使えないのかもしれませんが。
使えなかったら>>42>>47>>48を参考に-exec ls加工でやりたいと思います。
ちなみにリンク切れというのはGNU findでも検知できないんでしょうか?
0051名無しさん@お腹いっぱい。
2008/10/21(火) 07:48:01あと「検知」した後どうしたいのか書いた方がいい。
0052名無しさん@お腹いっぱい。
2008/10/21(火) 10:20:21bbb.example.com
aaa.example.com
example.com
example.co.jp
↓
example.com
aaa.example.com
bbb.example.com
example.co.jp
のようなことは出来ますか?
ピリオドを区切り文字にして、右側のフィールドから順に評価してくれればイイのですが。
0053名無しさん@お腹いっぱい。
2008/10/21(火) 10:31:35Perl か何かで書いちゃえば?
http://d.hatena.ne.jp/peanutsjamjam/20080108
0054名無しさん@お腹いっぱい。
2008/10/21(火) 11:41:03> http://d.hatena.ne.jp/peanutsjamjam/20080108
ここの例だと、ハイフンがあると破綻するな。
0055名無しさん@お腹いっぱい。
2008/10/21(火) 21:43:35awk -F. '{ for (i=NF; i>0 ; i--) { printf("%s ", $i) }; print("") }' | sort | awk '{ for (i=NF; i>0 ; i--) { printf("%s.", $i) }; print("") }' | sed 's/\.$//'
0056名無しさん@お腹いっぱい。
2008/10/21(火) 22:04:400057名無しさん@お腹いっぱい。
2008/10/22(水) 11:02:44005852
2008/10/22(水) 11:13:00sortコマンドだけでは無理っぽいので、>>55さんの方法でやることにします。
"sort --sort=domainname"とか出来ればイイのですが。
>>56
> sort -i にした方がたぶん目的にはかなってるとおも
???GNUのsortだと -i は印刷不可能な文字を無視するだけのようです。
0059名無しさん@お腹いっぱい。
2008/10/22(水) 13:16:57006055
2008/10/23(木) 12:03:26> "sort --sort=domainname"とか出来ればイイのですが。
コマンドを組み合わせてやっつけるのがシェルスクリプトの妙味ですので。
特殊な処理をコマンドに埋め込み始めるときりがないので。
0061名無しさん@お腹いっぱい。
2008/10/23(木) 12:29:040062名無しさん@お腹いっぱい。
2008/10/23(木) 12:41:48スレタイ読めよ
0063名無しさん@お腹いっぱい。
2008/10/23(木) 13:22:170064名無しさん@お腹いっぱい。
2008/10/23(木) 13:38:55sortの行指向をうまく利用しているからかなり簡潔になってるよ。
0065名無しさん@お腹いっぱい。
2008/10/23(木) 14:45:30import sys
def sort_key(line):
L = line.split('.')
L.reverse()
return L
for line in sorted(sys.stdin, key=sort_key):
sys.stdout.write(line)
0066名無しさん@お腹いっぱい。
2008/10/23(木) 15:17:580067名無しさん@お腹いっぱい。
2008/10/23(木) 16:45:590068名無しさん@お腹いっぱい。
2008/10/23(木) 17:01:13> L = line.split('.')
< L = line.lower().split('.')
0069名無しさん@お腹いっぱい。
2008/10/23(木) 17:06:27> 〜 x.split(〜
< 〜 x.downcase.split(〜
以上スレ違い話終了
0070名無しさん@お腹いっぱい。
2008/10/24(金) 02:17:580071名無しさん@お腹いっぱい。
2008/10/24(金) 02:39:340072名無しさん@お腹いっぱい。
2008/10/24(金) 08:46:37比較時に数値化(rubyなら to_iとか)
0073名無しさん@お腹いっぱい。
2008/10/25(土) 01:06:59[e.gsub(/\d+/, '#'), e.scan(/\d+/).map {|e| e.to_i}]
}
メンドクサ
0074名無しさん@お腹いっぱい。
2008/10/25(土) 01:20:420075名無しさん@お腹いっぱい。
2008/10/25(土) 09:18:57pieces = re.split(r'(\d+)', s)
pieces[1::2] = map(int, pieces[1::2])
return pieces
ary.sort(key=embedded_numbers)
0076名無しさん@お腹いっぱい。
2008/10/25(土) 21:56:24最後の文字を変数 LAST_LETTER に,残りの文字列を FIRST_LETTERS に代入するように
してもらえるとありがたいです。
0077名無しさん@お腹いっぱい。
2008/10/25(土) 22:03:53expr "$s" : "\(.*\)."
expr "$s" : ".*\(.\)"
0078名無しさん@お腹いっぱい。
2008/10/25(土) 22:12:09方法は2つ
1。正規表現
2。文字列の長さを測って、1引いた長さと、その場所から1文字をとる
0079名無しさん@お腹いっぱい。
2008/10/25(土) 22:20:34惜しいね。そこまでわかってても、最後に LAST_LETTER FIRST_LETTERS に
代入するのができてないから、満点あげられないね。
>>78
77に具体的な答が(不完全だけど)出てるのに何言ってんだか。
具体的な答がないので点はあげられないね。
0080名無しさん@お腹いっぱい。
2008/10/25(土) 22:29:44FIRST_LETTERS=${S:0:${#S}-1}
LAST_LETTER=${S:${#S}-1}
0081名無しさん@お腹いっぱい。
2008/10/25(土) 22:34:53bash依存
0082名無しさん@お腹いっぱい。
2008/10/25(土) 22:38:38FIRST_LETTERS=${STRING%?}
LAST_LETTER=${STRING#"$FIRST_LETTERS"}
echo "$FIRST_LETTERS"
echo "$LAST_LETTER"
0083名無しさん@お腹いっぱい。
2008/10/25(土) 22:50:35>>82 は、正規表現も使っていないし、文字列の長さも測っていない。
よって、方法は3つ(以上)あることになる。
0084名無しさん@お腹いっぱい。
2008/10/25(土) 22:52:580086名無しさん@お腹いっぱい。
2008/10/26(日) 00:14:49正直、ここらの文字列操作はどれがbash拡張なのかどうか、
/bin/shがbashな環境にいると判別できないな。
0087名無しさん@お腹いっぱい。
2008/10/26(日) 00:56:43http://detail.chiebukuro.yahoo.co.jp/qa/question_detail.php?qid=1220150877
506 :目のつけ所が名無しさん:2008/10/26(日) 00:47:20
大手ECサイトで、ここまで派手なリリース失敗は初めて見た。
エンジニア向けIT情報誌や関連サイトは、ぜひ取材して原因を明かして欲し
いは。
0088名無しさん@お腹いっぱい。
2008/10/26(日) 08:36:19UNIXで/bin/shがbashな環境なんてあるの?
あ、opensolarisとか??
0089名無しさん@お腹いっぱい。
2008/10/26(日) 09:00:58MacOS X
0090名無しさん@お腹いっぱい。
2008/10/26(日) 11:02:55LinuxはUNIXじゃないという煽りなんですね お疲れ様です
0091名無しさん@お腹いっぱい。
2008/10/26(日) 12:57:35LinuxをUNIXにしたらLinuxが嫌なんじゃない?
UNIXじゃ無いのがアレの誇りなんじゃないの?
0092名無しさん@お腹いっぱい。
2008/10/26(日) 12:58:13linuxというくくりでは/bin/shが何なのかは明確じゃないからな。
0093名無しさん@お腹いっぱい。
2008/10/26(日) 13:45:380094名無しさん@お腹いっぱい。
2008/10/26(日) 14:30:56なぜ?
LinuxやFreeBSDと違って、れっきとしたUNIXだよ。
0095名無しさん@お腹いっぱい。
2008/10/26(日) 14:43:570096名無しさん@お腹いっぱい。
2008/10/26(日) 21:27:04あったと思うけど、
zshで、setopt shwordsplit してる環境だと、
${1+"$@"} ではスペースが不本意に解釈されてしまって、引数がそのまま引き継げない。
やはり、単純明快に "$@" と書いた方が良いという結論。
$ zsh
zsh$ setopt shwordsplit
zsh$ set 'hoge boke'
zsh$ for i in ${1+"$@"}; do echo "$i"; done
hoge ← 2つに分かれてしまう
boke ← 2つに分かれてしまう
zsh$ for i in "$@"; do echo "$i"; done
hoge boke ← 正常
0097名無しさん@お腹いっぱい。
2008/10/26(日) 21:35:29> zshで、setopt shwordsplit してる環境だと、
当たり前やんw
すげえピンぼけ
0098名無しさん@お腹いっぱい。
2008/10/26(日) 21:43:22なんで当たり前?
zsh以外では setopt shwordsplit状態がデフォだよ。
それで、${1+"$@"} は "$@"と同様に動作する。
で、${1+"$@"} が、word split されるのは zshのバグと言える。
0099名無しさん@お腹いっぱい。
2008/10/26(日) 22:50:20-name のかっこいい正規表現でいけないですか?
0100名無しさん@お腹いっぱい。
2008/10/26(日) 22:52:41findの -name は正規表現ではありません。はい次
0101名無しさん@お腹いっぱい。
2008/10/26(日) 22:54:30-regex '[^0-9]*'
0102名無しさん@お腹いっぱい。
2008/10/26(日) 22:59:07-regex '.*/[^0-9]*'
0103名無しさん@お腹いっぱい。
2008/10/26(日) 23:18:570104名無しさん@お腹いっぱい。
2008/10/26(日) 23:25:04-regex を使うなら、フルパスでしか指定できない。そういう仕様。
0105名無しさん@お腹いっぱい。
2008/10/26(日) 23:27:37-regex '.*/[^/0-9]*$'
0106名無しさん@お腹いっぱい。
2008/10/26(日) 23:28:22というか>>102でファイル名だけになってますね
ありがとうございました
0107名無しさん@お腹いっぱい。
2008/10/27(月) 10:30:47試したみたがそうはならんな。
まあzshスレの話題のような気もするが。
ちなみにv7 shもheirloom sh(OpenSolaris)も${1+"$@"}と書く必要がある。
(だから必ずそう書けといっているわけではない; 知っておいた方がいいというだけ)
0108名無しさん@お腹いっぱい。
2008/10/27(月) 10:34:17zshのバージョンは? 4.x または 5.x で症状が出る。
あと、ちゃんと setopt shwordsplit を設定したか?
0109名無しさん@お腹いっぱい。
2008/10/27(月) 11:20:10setopt shwordsplit
set 'hoge boke'
for i in ${1+"$@"}; do echo "$i"; done
for i in "$@"; do echo "$i"; done
$ zsh /tmp/foo
hoge boke
hoge boke
$ zsh --version
zsh 4.3.4 (i686-pc-linux-gnu)
zsh-newuser-installをquitしたので設定は何もない。
0110名無しさん@お腹いっぱい。
2008/10/27(月) 11:42:08zsh 4.2 だと >>96 の指摘通りになる。
zsh 4.3 だとバグフィックスされた?
0111109
2008/10/27(月) 11:55:03set 'hoge baka' ahoでも。
0112名無しさん@お腹いっぱい。
2008/10/27(月) 12:09:18だから、zsh-4.2 で試せと。
zsh-4.2 ならまだそう古いバージョンじゃないし、まだ使われてるし、
汎用性考えると "$@" と書くべきだな。
0113名無しさん@お腹いっぱい。
2008/10/28(火) 22:37:42ファイル名が、
年月日.種類.年日.場所.更新日時.拡張子
となっているファイルを扱っています。
年月日および年日(対応してます)は全部でおよそ400、場所は200〜300あり、
5種類分あるので、各種類約10万ファイル、全部で50万ファイルくらいあります。
この中から、年月日.種類.年日.場所.*.拡張子だけ同じで、
更新日時が違う複数のファイルを見つけ出し、古いファイルを消さねばなりません。
例を示すと
./2001.08.29/MOD15A2.A2001241.h15v03.005.2007052031007.hdf
./2001.09.06/MOD15A2.A2001249.h15v03.005.2007054111501.hdf
./2001.09.06/MOD15A2.A2001249.h15v03.005.2008278130254.hdf
./2001.09.14/MOD15A2.A2001257.h15v03.005.2007056161438.hdf
こんな感じです。この場合、2番目のファイルだけを消したいです。
ファイル名が完全一致の重複ではないだけに、どうしていいかわかりません。
できればお教えください。
ちなみにディレクトリ構造は、種類-年月日-ファイル、となっています。
0114名無しさん@お腹いっぱい。
2008/10/28(火) 23:01:29Perlあたりで書いた方がよくない?
0115名無しさん@お腹いっぱい。
2008/10/28(火) 23:09:18ヒントだけ。
全ファイルのリストをファイルに落す。(1行1ファイル名)
(ファイル作りたくなければパイプでも桶)
そのファイル(パイプ)を入力として、
対象フィールド限定で(更新日時フィールド以外で) uniq -d で重複行を出す。
その重複行それぞれについて、更新日時フィールドをワイルドカードにして
ファイル名リストをとる。この時、更新日時フィールドは結局辞書順に
並んでいるから、最後の行以外のファイルは古いファイルと判定できるから、
最後の行以外のファイルを rmする。
以上を、uniq -dが出力した各行について行なう。
0116名無しさん@お腹いっぱい。
2008/10/29(水) 01:48:52ありがとうございます!
考えてやってみます。
0117名無しさん@お腹いっぱい。
2008/10/29(水) 03:16:42readlink(1)がSUSv3に見当たらなくて驚いています
0118名無しさん@お腹いっぱい。
2008/10/29(水) 08:26:480119名無しさん@お腹いっぱい。
2008/10/29(水) 10:27:19ファイル名の桁が揃っていると仮定する。
sort -r d.txt | awk '{ k=substr($0, 0, 40); ++a[k]; print a[k], $0; }' | awk '$1 != 1 { print $2; }'
0120名無しさん@お腹いっぱい。
2008/10/29(水) 11:01:42perl -le 'print readlink($ARGV[0])' /hoge/file
■ このスレッドは過去ログ倉庫に格納されています