シェルスクリプト総合その25©5ch.net

2015/08/14(金) 23:42:01.51

シェルスクリプトの総合スレです。
□お約束
・特記なき場合はBourne Shell(/bin/sh)がデフォルトです。
　bash/zsh/ksh/ashなどに依存する場合は明示しましょう。
　Linuxユーザは/bin/shの正体がbashまたはdashなので特に注意。
　FreeBSDユーザは/bin/shの正体がashなので注意。
　v7 shに一番近くて、現役のshは、OpenSolaris由来のheirloom sh。
　 http://src.illumos.org/source/xref/illumos-gate/usr/src/cmd/sh/
　 http://heirloom.sourceforge.net/sh.html
・csh/tcshのシェルスクリプトは推奨されません。
　(理由は「csh-whynot」でググれ)
・UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。
　manや参考リンクを見ましょう。
　aproposないしはman -kでそれらしい単語による簡単な検索もできます。
・シェルで使えるワイルドカード等は正規表現ではありません。
　正規表現の話題はスレ違い(正規表現スレへ)
・シェルスクリプトのことをシェルってゆーな
□初心者へのアドバイス:
・適した道具を判断するのも頭の重要な使い方。シェルスクリプトよりも
　awkまたはperlの方が適した処理にはそちらを使いましょう。
・知らないコマンドが出てきたらmanを引きましょう。
・思い通りに動かないときは、まずは sh -x でトレースしましょう。
□回答者への注意事項:
・シェルスクリプトでの処理方法を質問しているのに、よくわからずに
　「そういうのはperl使いましょう」と回答するのはやめましょう。
　安易にperlに逃げずにシェルスクリプトで処理するのが頭のいいやり方。
前スレ
シェルスクリプト総合その24
http://peace.2ch.net/test/read.cgi/unix/1415634843/

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 10:11:22.08

なんの漢字？

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 10:13:38.18

SJISなんてウンコを触っておきながらIFS弄るのが気持ち悪いというのは矛盾

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 10:35:53.64

>>894
0x5C を含む漢字でしょ、「表」とか
だったら read -r line で

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 10:44:50.39

>>897
KOREDAAAAA!!!
ありがとう兄貴
ちなみに構造って感じでつまづいてた
SJIS扱うのは古いプロジェクトならよくあることよ

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 10:54:10.92

そうか2バイト文字の1バイトが¥なせいでエスケープ扱いしちゃってたのな…
UTF8とかだと回避出来るんかなこれは

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 11:54:23.78

んなもん当たり前だろ、としか思えない私はおっさん確定。SJIS死すべしと思っていたのは25年前くらい？
これが世代というものなんですね……

**894** · 2017/02/14(火) 13:40:31.07

25年前からプログラマやってる人と並んだらさすがに俺はクソガキだわ
にしても意外なほどググっても出ないな、それほどマイナーなのかこの症状
もしくは当たり前すぎるのか

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 15:20:01.03

>>901
sjis ダメ文字でググればごろごろと

**894** · 2017/02/14(火) 15:23:50.72

>>902
sh read 漢字文字化けとかで出てほしかった…
勉強なったわサンクス

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 15:40:03.34

sjis 文字化けでも出るで
もう少しやったな

**894** · 2017/02/14(火) 16:05:30.25

あー、出るには出るけど多分readとの関連に気づかなかったろうな…ダメ文字ってものをまず知らなかったし
特定の漢字が文字化けってあたりの記事から推察して、SJISがなんかマズイってとこにはたどり着いたかもしれんが、多分それでもread -rには気づかなかったと思うわ
iconv -t utf8してたと思う

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 17:11:17.24

>>905
iconv を利用するのはアリだと思うよ。
業務系のシェルスクリプトでも「SJIS データを一時的に UTF-8 にコンバートして何らかの処理をした後に SJIS に戻す」という手法で実装することがある。

**894** · 2017/02/14(火) 17:17:09.33

>>906
便利だよねiconv

**名無しさん＠お腹いっぱい。** · 2017/02/14(火) 20:50:41.08

おれは、使い慣れてるnkfでcp932→utf-8に変換してから作業してるわ。

**名無しさん＠お腹いっぱい。** · 2017/02/15(水) 01:22:16.71

そんで戻ってこない文字が出てきて泣きそうになるまでがテンプレだね。

**名無しさん＠お腹いっぱい。** · 2017/02/15(水) 01:34:33.21

それでもiconvなら
iconvならきっとなんとかしてくれる

**名無しさん＠お腹いっぱい。** · 2017/02/15(水) 04:53:01.40

元がcp932なら変換不能になることはないだろう
そう、iconvならね

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 04:37:58.77

#!/bin/bash
echo A > test.txt ; echo B >> test.txt
ARRAY=$(cat test.txt)
for item in ${ARRAY[@]}; do
echo $item
done
としたら
A
B
と表示されるので、$ARRAYは 2個の要素を持つ配列になったのだと思っていました。

ところが要素数を
echo ${#ARRAY[@]}
で表示させたら 1 が表示されます。

$ARRAYは配列になっていないのでしょうか?
だとすると、なぜ for item … で表示されたのか?

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 04:55:39.09

indexも表示させればわかるよ

echo A > test.txt; echo B >> test.txt

ARRAY=$(cat /tmp/test.txt)
for (( i=0; i<${#ARRAY[@]}; i++ )) do
printf "ARRAY index:%d value:%s\n" "$i" "${ARRAY[i]}"
done

readarray -t ARRAY2 < <(cat /tmp/test.txt)
for (( i=0; i<${#ARRAY2[@]}; i++ )) do
printf "ARRAY2 index:%d value:%s\n" "$i" "${ARRAY2[i]}"
done

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 05:52:55.03

>>913
readarray -t ARRAY < <(cat test.txt)
で綺麗に配列として読まれますね。
これでいま作っている自作ツールが完成出来ます。
ありがとうございます

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 09:43:20.54

最初の例のやつ、多分配列になってないんじゃないか

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 14:18:47.86

>>915
#!/bin/bash
echo A > test.txt ; echo B >> test.txt
ARRAY=$(cat test.txt)
N=1
for item in ${ARRAY[@]}; do
echo ARRAY[$N]=$item
N=$(($N + 1))
done

としたら
ARRAY[1]=A
ARRAY[2]=B
と表示されて、配列になっているようです

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 16:02:36.82

>>916
それは配列になってるんじゃなくてforループで一つ目の要素がsplitされてるだけ
echo A > test.txt ; echo B C >> test.txt みたいにスペースなんかが入ると対処できないからそういうコードはやめたほうがいい
for item in "${ARRAY[@]}"; do ってクウォートすると結果変わるでしょ？

あと”<(cat test.txt)”は比較のために書いただけでcatしなくても大丈夫
readarray -t ARRAY < test.txt

while readするかreadarray(=mapfile)使うか
http://mywiki.wooledge.org/BashFAQ/005#Loading_lines_from_a_file_or_stream

**名無しさん＠お腹いっぱい。** · 2017/02/18(土) 17:07:28.86

>>917
> それは配列になってるんじゃなくてforループで一つ目の要素がsplitされてるだけ
> for item in "${ARRAY[@]}"; do ってクウォートすると結果変わるでしょ？

なるほど。
配列になっていないのと、検証の方法が間違っていたことがよく理解出来ました。

> echo A > test.txt ; echo B C >> test.txt みたいにスペースなんかが入ると対処できないからそういうコードはやめたほうがいい

気を付けます。

> あと”<(cat test.txt)”は比較のために書いただけでcatしなくても大丈夫
> readarray -t ARRAY < test.txt
> while readするかreadarray(=mapfile)使うか
> http://mywiki.wooledge.org/BashFAQ/005#Loading_lines_from_a_file_or_stream

ありがとうございます。
もっと勉強します

**名無しさん＠お腹いっぱい。** · 2017/02/20(月) 13:16:49.47

>>918
[user@f25 ~]$ ARRAY=$(cat test.txt)
[user@f25 ~]$ declare -p ARRAY
declare -- ARRAY="A
B"
[user@f25 ~]$ readarray -t ARRAY < test.txt
[user@f25 ~]$ declare -p ARRAY
declare -a ARRAY='([0]="A" [1]="B")'

**名無しさん＠お腹いっぱい。** · 2017/02/20(月) 18:00:26.41

>>919
declare -p !!!
知らなんだ

**名無しさん＠お腹いっぱい。** · 2017/02/20(月) 18:11:16.14

このスレ来ると度々便利な知識得られるからいいわ
grep -oとか

**名無しさん＠お腹いっぱい。** · 2017/02/21(火) 05:20:06.32

配列にするなら
ARRAY=( $(cat test.txt) )

**名無しさん＠お腹いっぱい。** · 2017/02/21(火) 16:45:06.28

>>922
echo A > test.txt ; echo B C >> test.txt みたいにスペースなんかが入ると…

**名無しさん＠お腹いっぱい。** · 2017/02/21(火) 19:03:20.01

IFS=$'\n'
ARRAY=( $(cat test.txt) )
declare -p ARRAY

とすれば空白混じりの行も1行として扱われるが、
空行(何も文字が無い行)は$ARRAYに読み込まれない

readarray -t ARRAY < test.txt
declare -p ARRAY

だと空行も読み込んでくれる

**名無しさん＠お腹いっぱい。** · 2017/02/28(火) 23:57:54.64

echo test | grep a
みたいな時に終了コードはgrepこの場合1
でかつ標準出力にはtestが出ていて欲しいのですが

どうしたらいいでしょうか？
環境はbashです

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 00:40:42.45

echo test | tee /dev/tty | grep a

でどうだろう？

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 00:57:07.01

終了コード1のときにはその文字列を表示したいとかによって違う気がする。
常に入力をそのまま出力していいのだろうか。

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 01:36:33.88

仕様を細かく詰めてない気がするけどとりあえず
echo test | ( grep -v a; exit $(expr $ "$?" + 1 $ % 2 ))

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 02:35:11.20

みなさん、ありがとうございます

echo の部分は常に表示、grepは結果のみ欲しいので-qで、判定につかうインプットは常に全量表示して、結果はリターンコード、標準出力は人が見るよう、リターコードはその後のシステム的な分岐につかう的な目的です(後続はbashの世界でないのでワンライナーが嬉しい)

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 05:09:32.29

macのsipsコマンドについて質問しても大丈夫ですか？
例えば-zと-sを一緒に実行して--out でフォルダに書き出したいとして
どういうルールで並べて記述すればいいでしょうか？

sips -Z 200 * -s format jpeg --out Converted/
あれこれいじって、たまたまこれで動いたのですが
正しいのかわかりません。
よろしくお願いします。スレチだったらすいません。

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 09:20:45.49

>>929
grep にこだわらくても良くて、GNU sed を使ってもいい場合:

$ echo test | sed '/a/!q1'
test
$ echo $?
1

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 09:22:21.87

>>930
正しいけどスレチ
man見ろ
見られないんなら
https://developer.apple.com/legacy/library/documentation/Darwin/Reference/ManPages/man1/sips.1.html

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 09:41:41.92

要求満たしつつ個人的に好きなのは>>926

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 09:50:14.78

「標準出力」じゃないから要求満たしてないんじゃない？

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 10:04:09.41

>>930
そういえばこういうスレもあったり
【Macintosh】MacでUNIX【Terminal】
http://echo.2ch.net/test/read.cgi/unix/1123501408/

mac板でよかった気もするけど
OS XをUnixとして使ってる人の為のスレ 18
http://potato.2ch.net/test/read.cgi/mac/1462475819/

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 10:17:52.51

>>931
あ、間違えた…こうしないと

$ echo test | sed -n 'p;/a/H;${x;/./q0;q1}'

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 12:19:32.48

echo test | awk '/a/{x=1}//END{exit !x}'

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 17:16:16.75

$ echo test | awk '/a/{x=1}{print}END{exit !x}'

じゃないの？

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 17:36:55.41

$ echo test | grep -B10000 -A10000 a

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 17:38:08.89

あああ、1行もマッチしないとダメだ

**名無しさん＠お腹いっぱい。** · 2017/03/01(水) 21:54:56.86

>>932 >>935
スレチにもかかわらずありがとうございました！

**名無しさん＠お腹いっぱい。** · 2017/03/04(土) 09:13:31.42

>>930
うちでもよく使うが、sips なんて他には無いからな

for i *.jpg; do sips -Z 200 $i -s format jpeg --out Converted/$i; done

ところでマカーな人はbash4入れてるんですかね。bash3なので、最近ココで出てくるreadarrayが使えない

**名無しさん＠お腹いっぱい。** · 2017/03/04(土) 09:17:20.48

あー in が抜けてる
for i in *.jpg ; do な

**名無しさん＠お腹いっぱい。** · 2017/03/04(土) 10:32:40.92

ImageMagickのconvertみたいなものか

**名無しさん＠お腹いっぱい。** · 2017/03/04(土) 18:32:17.60

>>942
>ところでマカーな人はbash4入れてるんですかね。

Homebrewで入れてそっち使うようにしてる

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 19:02:41.56

いつもシェルが使える環境ある？
自分は仕事ならcygwin（今は使ってない）、実機、仮想環境
プライベートならラズパイ、仮想環境かな

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 22:43:56.07

Mac

**名無しさん＠お腹いっぱい。** · 2017/03/07(火) 23:30:24.96

俺はスマホにzsh入れてるけど

**名無しさん＠お腹いっぱい。** · 2017/03/08(水) 01:50:34.93

>>946
SL-Zaurus（SL-C860）を今だに現役で使っているよ

**名無しさん＠お腹いっぱい。** · 2017/03/09(木) 02:31:23.57

そういうのって
ただ書けるだけじゃなくて動かせたり
実際にその機械で便利に使えたりするのですか？

**名無しさん＠お腹いっぱい。** · 2017/03/09(木) 17:50:34.83

pythonの出力をシェルの変数にするにはどうやれできますか？

x=$( python test.py )
はダメでした

**名無しさん＠お腹いっぱい。** · 2017/03/09(木) 17:58:17.55

$ cat test.py
print("Hello world!")
$ python test.py
Hello world!
$ x=$(python test.py)
$ echo $x
Hello world!

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 09:16:11.80

あれ？そうだよなと思ったら、pythonの文字コードの扱いが変でした
シェルごめんよ

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 13:07:41.33

pythonのせいにするのもどうかと

**名無しさん＠お腹いっぱい。** · 2017/03/10(金) 16:08:16.57

pythonは文字コード周り落とし穴が多いすぎ
pythonのせい

**名無しさん＠お腹いっぱい。** · 2017/03/11(土) 22:32:29.75

$@から$1を除いたものを関数に渡す方法を教えてくだしあ

**名無しさん＠お腹いっぱい。** · 2017/03/11(土) 22:46:42.79

shiftするしかないんじゃないかな
呼出し後に元に戻したいとするとsetかな

**名無しさん＠お腹いっぱい。** · 2017/03/11(土) 23:06:24.73

呼び出し先でshiftすりゃいいじゃん

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 00:12:25.14

せやな！

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 01:47:16.95

>>956
bash なら "${@:2}" でええんちゃう

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 04:14:35.39

>>960
その発想もなかった
パラメータとして渡すならこっちの方が分かりやすいな

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 19:17:36.56

ずっと、行の抜き出しはprcegrepを使ってたげど
sed -n -e '/hoge1/,/hoge2/p'
これでできるのを、今知って感動中。しかも、こっちの方が速い。
そのあとの置換は
sed -n -e '/hoge1/,/hoge2/p' | sed -e 's/foo/bar/g'
としかできなかったけど
sed -n -e '/hoge1/,/hoge2/p' -e 's/foo/bar/g'
で、やる方法とかであるんですか？

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 20:09:10.06

sed -n -e 's/foo/bar/g' -e '/hoge1/,/hoge2/p'
じゃだめなの？

**名無しさん＠お腹いっぱい。** · 2017/03/12(日) 20:49:35.74

sed -ne '/hoge1/,/hoge2/{s/foo/bar/g;p;}'
でもいけそう

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 15:22:55.40

sedスレあるのに忘れられてそうw

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 17:19:42.05

sed -e '/hoge1/,/hoge2/!d' -e 's/foo/bar/g'

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 19:49:20.42

ありがとうございます
さらに速くなりました

一番最後の文字はコマンドというのを実感

**名無しさん＠お腹いっぱい。** · 2017/03/13(月) 20:38:32.02

sedは-n使ったら負け

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 13:36:43.93

なんで？

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 13:37:42.13

うるさい！
俺が負けだって言ったら負けなんだよ
大人しく言う事聞け

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 13:43:38.36

なんだそのダメな親みたいな言い分は

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 13:45:42.22

むしろジャイアンかな

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 16:27:57.38

pでプリントした行は元質問にもあるようにストリームを流れて行かない、
お漏らししたようなものだからね

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 18:03:51.07

sed だと、後方参照の時にバックスラッシュでエスケープしまくることになるのがどうにも…
それで、いつの間にか perl を代わりに使うようになった。

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 19:02:59.32

sedでできることをperlでやるのは微妙に悔しいw

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 20:28:01.98

sed -e "s/微妙に/非常に/" >975

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 20:45:20.13

入力なくね？

**名無しさん＠お腹いっぱい。** · 2017/03/15(水) 20:58:18.06

考えすぎ

**名無しさん＠お腹いっぱい。** · 2017/03/16(木) 12:44:27.48

>>977
sed -e "s/微妙に/非常に/" <975 >975
ってやって空のファイルを作ってしまったあの頃...

**名無しさん＠お腹いっぱい。** · 2017/03/16(木) 12:47:16.46

分からんでもない

**名無しさん＠お腹いっぱい。** · 2017/03/16(木) 16:23:09.20

最初に head/tail、grep、sort 辺りを処理の都合上先にやることが多いので、
sed の入力にはパイプを使うことが多いかな。

**名無しさん＠お腹いっぱい。** · 2017/03/16(木) 22:48:37.43

日本語下手かｗ

**名無しさん＠お腹いっぱい。** · 2017/03/18(土) 22:25:35.75

grepしてsedは素人

**名無しさん＠お腹いっぱい。** · 2017/03/18(土) 23:27:17.30

なんで？

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 00:04:19.09

sedだけでできるからかと

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 00:24:39.59

grepである程度簡単なワードで絞ってからのほうが、複雑な置換は早そうだけど

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 00:57:36.33

実験して見せられるまで性能に関する予想は信じない

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 01:06:54.08

まぁこじらせた人にてみればその手間は実に腹立つだろうな

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 10:07:51.17

「ひとつのことを上手くやる」から考えると、grep してから sed の方がマッチしてそう

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 11:41:33.99

windowsのdos窓は使えるけれど、grep、sed、awk、perlなどはなし。当然他のスクリプト言語もなし。
さらに、新たなソフトのインスコはできない。
まあ、notepadでソースの編集はできる。

Eドライブには多くのフォルダがあって、中にはjpegのえろ画像が１テラ分てんこ盛り
えろ画像だけを全部Dドライブにコピーしたい。
Eドライブのフォルダを見ると８階層ぐらいのフォルダもあって、とても手作業のコピペはムリ。

にゃんとか目的を達成する方法はないであろうか？！
各位のお知恵を拝借したい。

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 13:00:13.49

powershell でも使えばいいんじゃないかな

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 14:12:15.82

ここじゃなくてもっと他に聞くべき所があるだろうな

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 20:18:27.47

その環境的な制限がありつつ、エロ画像を扱うという状況が想像できないな
仕事でエロ画像を扱ってるか上司の個人環境とかかな

**名無しさん＠お腹いっぱい。** · 2017/03/19(日) 20:31:39.22

robocopyでコピーすれば良い

シェルスクリプト総合 その25©5ch.net

シェルスクリプト総合その25©5ch.net