連番のH画像/動画を一気にダウンロードする2
■ このスレッドは過去ログ倉庫に格納されています
0001前スレ1
2005/12/26(月) 02:56:22実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0032名無しさん@お腹いっぱい。
2006/05/06(土) 23:23:27そんなの俺ならあきらめて俺も再帰だな
wgetに-lオプションつけて
0033名無しさん@お腹いっぱい。
2006/05/07(日) 01:15:17かける方法ってないもんか
0034名無しさん@お腹いっぱい。
2006/05/08(月) 19:00:10http://enum.ninpou.jp/
これ使えばいいじゃん(jpgのダウンで使用)
0035名無しさん@お腹いっぱい。
2006/05/08(月) 19:51:42宣伝乙
0036名無しさん@お腹いっぱい。
2006/05/09(火) 02:38:020037名無しさん@お腹いっぱい。
2006/05/13(土) 03:44:48http://theblind.liveadulthost.com/087/001.jpg
wget 出来ない(--referer は試した)
ナジェ?
0038名無しさん@お腹いっぱい。
2006/05/13(土) 09:35:49User-Agent
0039名無しさん@お腹いっぱい。
2006/05/18(木) 13:02:55そうみたいだね。
>>37
%wget -U='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; .NET CLR 1.0.3705)' http://theblind.liveadulthost.com/087/{001..100}.jpg
004039
2006/05/18(木) 13:24:58100を120に訂正してね。
0041名無しさん@お腹いっぱい。
2006/05/19(金) 01:33:55001.jpgじゃなくて1.jpgにされてしまってだめだったぞ。
俺はこれ
seq -f http://theblind.liveadulthost.com/087/%03g.jpg 1 120|wget -U ' ' -i -
0042名無しさん@お腹いっぱい。
2006/05/19(金) 20:38:43俺は~/.wgetrcに以下を追加してる
user_agent=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
0043名無しさん@お腹いっぱい。
2006/05/27(土) 09:17:130044名無しさん@お腹いっぱい。
2006/05/27(土) 21:32:360045名無しさん@お腹いっぱい。
2006/06/12(月) 13:04:460046名無しさん@お腹いっぱい。
2006/06/15(木) 12:23:050047名無しさん@お腹いっぱい。
2006/06/30(金) 10:03:32ttp://www.imagefap.com/gallery.php?gid=188736
htmlパースして thumb => full 置換すればいいんだけど
順序が失われるんでカウンタ用意してリネーム...
そろそろ 手軽に の領域じゃねーな
0048名無しさん@お腹いっぱい。
2006/06/30(金) 20:05:05ttp://file300kb.run.buttobi.net/fl/src/Oil0393.txt
例えば>>47なら
$ ./exwgetr -a -o -d "/thumb/.*.jpg$" "http://www.imagefap.com/gallery.php?gid=188736 " | sed "s/thumb/full/" | wget -i -
0049名無しさん@お腹いっぱい。
2006/07/03(月) 12:22:33なかなか使えますね〜
ありがたく使わさせて頂きますです。(謝謝!
0050名無しさん@Vim%Chalice
2006/07/03(月) 23:02:34オイラも便利に使わしてもらってます。
今まで泥臭くやってたけど
一発でhtmlパースしてgrepまでこなしちゃうスクリプト素敵。
perl使いカコイイなぁ...素敵なスクリプトありが豚です。
0051名無しさん@お腹いっぱい。
2006/07/04(火) 00:22:47ttp://file300kb.run.buttobi.net/fl/src/Oil0405.txt
503とか通信エラーにめっぽう弱い(なんとリトライ機能がついてない!)のでご注意を……
0052名無しさん@お腹いっぱい。
2006/07/04(火) 03:26:512004/05/12見たいな感じで取り込まれてしまいます。
そうではなく、取り込んだ日付ex 2006/07/04に変更するwgetのオプションってありますか?
wget -N かと思ったのですが、どうも違うみたいです。
0053名無しさん@お腹いっぱい。
2006/07/04(火) 08:04:31005452
2006/07/05(水) 10:48:01touchで行けました。ありがとうございました。
touchでは、空のファイル(0バイト)に強制的になるのかと思ってました。
時刻だけ変更できるのですね。
0055名無しさん@お腹いっぱい。
2006/07/15(土) 11:40:15早速DVDーRに落とそうとしたのですが容量が大きいんです。
それで圧縮したまま落としたんですが今度は
コミックの画像をめくろうとしてもめくれなくなりました。
(すべて展開したときはめくれました)
そこでDVD-Rにコミックを上手に落とすやり方を教えてください。
0056名無しさん@お腹いっぱい。
2006/07/15(土) 11:51:46コミック程度の重さならどんな落しかたでも問題ないと思うよ。
0057名無しさん@お腹いっぱい。
2006/07/15(土) 17:22:21マジレスすると、ウインドウズ系の圧縮フォルダ機能は全て展開しないとページめくりは出来ない
結論
コミックくらい買え
0058名無しさん@お腹いっぱい。
2006/07/15(土) 18:09:210059名無しさん@お腹いっぱい。
2006/07/15(土) 20:03:05探せばあると思うよ
http://pc8.2ch.net/test/read.cgi/linux/1136386462/l50
0060名無しさん@お腹いっぱい。
2006/07/16(日) 00:17:490061名無しさん@お腹いっぱい。
2006/07/17(月) 14:11:33xv -vsmap が結局便利なんだよな
いいソフトあれば紹介よろしゅう
0062名無しさん@お腹いっぱい。
2006/07/17(月) 22:18:09再うpお願い出来ますでしょうか?
0063名無しさん@お腹いっぱい。
2006/07/17(月) 22:56:050064名無しさん@お腹いっぱい。
2006/07/17(月) 22:58:32個人的にはgimv使ってる。以前はxzgvが軽かったので使ってたのだけど、
ZIPファイルに入った同人誌をそのまま読めるので乗り換えた。
0065名無しさん@お腹いっぱい。
2006/07/17(月) 23:22:04サムネイル表示出来て、画像表示も見やすくて、スケーリングが高品質な所が気に入ってる。
0066名無しさん@お腹いっぱい。
2006/07/17(月) 23:29:31ミーヤ(Intel)のイメージライブラリとどっちが上?
0067名無しさん@お腹いっぱい。
2006/07/18(火) 00:00:37コミック類はnearestのほうがいいかなと思うけど、
いちいち切り替えるのがめんどうだからそのまんま。
で、どの方法と比較したいの?
0068名無しさん@お腹いっぱい。
2006/07/24(月) 06:17:28PCで見れるサイト見つけた!
無料で見れるものを凄く集まってる。
ハードディスクの容量足りない。(>_<)
http://piggy2doggy.googlepages.com/
0069名無しさん@お腹いっぱい。
2006/07/24(月) 11:21:12中身はHTMLで、画像へのリンクには乱数が入ってる。
つまりIEのContent-typeを無視するバグを利用しないと見れない。
とても嫌らしい。
0070名無しさん@お腹いっぱい。
2006/07/26(水) 04:48:40HTMLのソースからリンク抜きだしてwgetなりに渡すんじゃダメ?
0071名無しさん@お腹いっぱい。
2006/07/29(土) 15:12:17お気に入りでok
0072名無しさん@お腹いっぱい。
2006/07/29(土) 16:42:000073名無しさん@お腹いっぱい。
2006/07/29(土) 16:48:08>>34
宣伝乙
007471
2006/08/01(火) 15:19:52すまん
宣伝じゃないよw
0075名無しさん@お腹いっぱい。
2006/08/06(日) 14:23:150076名無しさん@お腹いっぱい。
2006/08/06(日) 22:55:240077名無しさん@お腹いっぱい。
2006/09/10(日) 13:07:120078名無しさん@お腹いっぱい。
2006/09/13(水) 16:44:200079名無しさん@お腹いっぱい。
2006/09/22(金) 12:27:18いい方法はない?
yahooとかlivedoor みたいなとこで。
0080名無しさん@お腹いっぱい。
2006/09/22(金) 12:35:56URIの実例プリーズ
0081名無しさん@お腹いっぱい。
2006/09/22(金) 13:02:34zip
0082名無しさん@お腹いっぱい。
2006/09/22(金) 18:59:58例えばこんなところで↓
http://geocities.yahoo.co.jp/
http://photos.yahoo.co.jp/
http://briefcase.yahoo.co.jp/
>>81
それを昔していましたがzip以外でしたいです。
0083名無しさん@お腹いっぱい。
2006/09/23(土) 08:49:55lha
0084名無しさん@お腹いっぱい。
2006/11/15(水) 13:15:50どうすればいいの?
0085名無しさん@お腹いっぱい。
2006/11/15(水) 23:46:360086名無しさん@お腹いっぱい。
2006/12/24(日) 18:16:39ステータスが200でtext/html返してきた時にリトライするようにしたかった。
0087名無しさん@お腹いっぱい。
2006/12/25(月) 01:56:180088名無しさん@お腹いっぱい。
2006/12/25(月) 02:02:000089名無しさん@お腹いっぱい。
2006/12/25(月) 02:21:000090名無しさん@お腹いっぱい。
2006/12/25(月) 02:38:410091!dama
2007/01/02(火) 04:02:340092名無しさん@お腹いっぱい。
2007/01/04(木) 01:35:380093名無しさん@お腹いっぱい。
2007/01/04(木) 01:43:480094名無しさん@お腹いっぱい。
2007/01/04(木) 02:40:27それとHTML::*やHTTP::*やLWP::*のお勉強
0095名無しさん@お腹いっぱい。
2007/01/20(土) 03:39:430096名無しさん@お腹いっぱい。
2007/04/02(月) 19:34:19imepita.jpなんかにうpされた画像を自動巡回して拾い集めたいなと思っています。
例えばこんなのとか http://imepita.jp/20070402/701450
このurlをブラウザーで開くと普通にみれるのですが。
curlやwgetでこのURLを開くと404になってしまい、
htmlが取得できず困っています。
うpされた画像のアドレスと表示用のURLに相関関係がないのでhtmlを調べないと画像が取得できません。
どなたか偉い方よろしくおねがいします
0097名無しさん@お腹いっぱい。
2007/04/02(月) 20:05:08お約束の User-Agent: とか Referer: あたりはどうよ。
0098名無しさん@お腹いっぱい。
2007/04/02(月) 20:39:36User-Agent:は試したのですが変わらず・・・。
ちょっとRefererもやってみます。
0099名無しさん@お腹いっぱい。
2007/04/02(月) 20:44:050100名無しさん@お腹いっぱい。
2007/04/02(月) 23:23:17Accept-Language: ja
とかは?
010196
2007/04/03(火) 08:31:48神!
ありがとうございました
0102名無しさん@お腹いっぱい。
2007/04/10(火) 23:16:28連番のH画像/動画を一気にダウンロードしたものを僕に下さい(>_<)(>_<)
0103名無しさん@お腹いっぱい。
2007/04/21(土) 16:02:05ブラウザでは保存可能でした。
wget --referer='http://imepita.jp/20070402/701450' -U='Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)' --header='Accept-Language: ja' 'http://imepita.jp/kp_img/trial/20070402/701450.jpg?FFunc=IConf&FFcom=%22off%22'
としています。
指摘よろしくおねがいします。
0104名無しさん@お腹いっぱい。
2007/05/01(火) 13:54:450105名無しさん@お腹いっぱい。
2007/05/01(火) 19:01:17とりあえずURLを書きなさいよ
0106名無しさん@お腹いっぱい。
2007/05/05(土) 09:35:29ttp://infostore.org/info/3078906?refer=2257986&rs=2
→ ttp://img44.imagevenue.com/aAfkjfp01fo1i-24835/loc286/27363_004pat060.jpg
0107名無しさん@お腹いっぱい。
2007/05/05(土) 10:51:18grep -o 'http://[^#]*' |
grep 'imagevenue.com/img.php' |
while read LINE; do
lynx -dump -image_links $LINE |
grep -o 'http://[^#]*' |
grep '/loc[0-9][0-9]*/'
done
0108名無しさん@お腹いっぱい。
2007/05/05(土) 11:08:02あとは sleep もいれたほうがいいかも
0109名無しさん@お腹いっぱい。
2007/05/05(土) 12:23:56$ cat hoge.sh
#!/bin/sh
curl -s "$1" |
grep imagevenue |
sed -n -e "s/href='\\([^']*\\)'/\\
HREF=\\1\\
/gp" |
sed -n -e "/HREF=/s/HREF=//p" |
while read URL
do
dir="`dirname \"$URL\"`"
file=`curl -s "$URL" | sed -n -e '/thepic/ {N; s/.*SRC="\([^"]*\)".*/\1/p;}'`
curl -s --referer "$URL" -O "$dir/$file"
done
$ ./hoge.sh 'http://infostore.org/info/3078906?refer=2257986&rs=2'
0110名無しさん@お腹いっぱい。
2007/05/05(土) 15:07:320111名無しさん@お腹いっぱい。
2007/05/05(土) 19:36:37>>105
0112名無しさん@お腹いっぱい。
2007/05/05(土) 23:32:55imagefapは
(1) ギャラリーページから全てのギャラリーページのURLを抽出
(2) 各ギャラリーページから画像ページのURLを抽出
(3) 画像ページから画像ファイルのURLを抽出
という手順になると思う。(3) のURLはJavaScriptでブラウザに生成させてるのでwgetとかでは無理っぽい。
0113名無しさん@お腹いっぱい。
2007/05/06(日) 09:10:45http://images.imagefap.com/images/thumb/11/141/1414518509.jpg
http://images.imagefap.com/images/full/11/141/1414518509.jpg
0114名無しさん@お腹いっぱい。
2007/05/06(日) 21:18:14for URL in `seq -f 'http://www.imagefap.com/gallery.php?gid=330938&page=%g' 0 8`; do
echo get: $URL >&2
get_links_from_url $URL | sed -n '/thumb/s/thumb/full/p'
done
0115名無しさん@お腹いっぱい。
2007/10/23(火) 21:46:500116名無しさん@お腹いっぱい。
2007/10/27(土) 02:27:200117名無しさん@お腹いっぱい。
2007/12/30(日) 00:22:46ttp://g.e-hentai.org/g/854/ed9b4c88ddfde2ab2ea93ee162b0ebf6315cef64/5-m-y/
0118名無しさん@お腹いっぱい。
2008/01/02(水) 21:10:52http://exgirlfriendmarket.com/perfect_tits_corina?
0119名無しさん@お腹いっぱい。
2008/01/02(水) 22:24:460120118
2008/01/03(木) 01:46:07さっそくの助言、ありがとうございます。
とりあえず curl をインストールして試してみました。拝見したところ、外部リンクになっているのを直接指定していますね。
これを Unix のコマンドの組み合わせで
・画像一覧ページから
・個別の画像、もしくは画像表示ページへのリンクを辿り
・自動で巡回して、一定サイズ以上の JPG はダウンロードする
ということはできませんでしょうか? 趣味と実益を兼ねて、こんな感じの Blog を巡回することが多いのです。
だめだったら Win のダウンローダーでも探しますが、やはり Unix で覚えたいので。
お手数ですが、よろしかったらお知恵を拝借させてください。m(_ _)m
0121名無しさん@お腹いっぱい。
2008/01/03(木) 09:38:02再帰ダウンロード時のフィルタ:
-A, --accept=LIST ダウンロードする拡張子をコンマ区切りで指定する
-R, --reject=LIST ダウンロードしない拡張子をコンマ区切りで指定する
-D, --domains=LIST ダウンロードするドメインをコンマ区切りで指定する
--exclude-domains=LIST ダウンロードしないドメインをコンマ区切りで指定する
--follow-ftp HTML 文書中の FTP リンクも取得対象にする
--follow-tags=LIST 取得対象にするタグ名をコンマ区切りで指定する
--ignore-tags=LIST 取得対象にしないタグ名をコンマ区切りで指定する
-H, --span-hosts 再帰中に別のホストもダウンロード対象にする
-L, --relative 相対リンクだけ取得対象にする
-I, --include-directories=LIST 取得対象にするディレクトリを指定する
-X, --exclude-directories=LIST 取得対象にしないディレクトリを指定する
-np, --no-parent 親ディレクトリを取得対象にしない
0122名無しさん@お腹いっぱい。
2008/02/27(水) 14:12:00今やそのスレが消えてしまったため、もう一度ここで質問させてください。
例えばここに置いてある松金洋子のデスクトップ用壁紙画像をターゲットとします。
http://www.sexydesktop.co.uk/youko.htm
ここには全部で4ページ分48種類の松金洋子の画像があります。
このサイトの画像はすべてデスクトップ用の壁紙を目的としているので、
一つの画像に関して数種類の解像度・縦横比の画像が用意されており、
アクセスしてきた人の使っているディスプレイ解像度を検出しては、
最適な解像度のものを優先的にプッシュするようになっています。
また、画像ファイルの命名ルールは非常に単純かつ形式的で、
たとえば例に挙げた松金洋子の画像の場合、
まず画像の名前を表す youko1 から youko48 までの48種類の画像が用意されています。
さらにそれぞれの解像度を表す 1280x800 や 800x600 の文字列が続き、最後に拡張子 .jpg が付いています。
注意する点は、例えば youko48 に対して youko01 だとか、1280x1024 に対して 0800x0600 といった、
命名上の「桁数合わせ」が一切行われていないという点です。
0123122-123
2008/02/27(水) 14:12:231). サイトがプッシュしてくるこちらのディスプレイ解像度に関係なく、
すべての画像に関して、より解像度の大きい物を、
番号の一番若いものから古いものまで全種類取って来たい。
2). その際、取って来た画像のファイル名を修正して、
youko48 に対しては youko01 、1280x1024 に対して 0800x0600 など、命名上の「桁数合わせ」をしたい。
3). さらに、ファイル名の中の画像名を表す文字列と、解像度を表す文字列とを _ で結ぶようにしたい。
具体的には、youko11600x1200.jpg と名付けられた youko1 という画像の 1600x1200 版のファイル名を、youko01_1600x1200.jpg としたい。同様に、youko481280x1024.jpg と名付けられた youko48 という画像の
1280x1024 版のファイル名を youko48_1280x1024.jpg としたい。
以上をまとめると、参考例の松金洋子の画像で言えば、
youko11600x1200.jpg から youko481280x1024.jpg までの画像を、
youko01_1600x1200.jpg から youko48_1280x1024.jpg として保存したい。
これを実現するスクリプトをどう書けばいいでしょうか?
なお、好みのタレントの画像が何種類用意されているか(松金洋子の場合は48種類)については、
ダウンロードを開始する前に手作業で調べることとします。
0124名無しさん@お腹いっぱい。
2008/02/27(水) 14:31:38コントンジョノイコ
スレタイを読んでからスクリプトスレに行け
0125名無しさん@お腹いっぱい。
2008/02/27(水) 14:43:56>これを実現するスクリプトをどう書けばいいでしょうか?
変な書きかたをせずに普通に書けばいいと思うよ
0126名無しさん@お腹いっぱい。
2008/02/27(水) 18:52:00むしろここをやりたいのかと思った… :-P
0127名無しさん@お腹いっぱい。
2008/03/01(土) 03:23:35まず自分で書くんだ
0128名無しさん@お腹いっぱい。
2008/03/03(月) 14:00:03これを-1.拡張子とすることはできないでしょうか?
通常は hoge.html, hoge.html.1, hoge.html.2 とファイルが出来て行くものを
hoge.html, hoge-1.html, hoge-2.html と名付けられて欲しいのです。
0129名無しさん@お腹いっぱい。
2008/03/03(月) 14:45:41for i in *.1 *.2
do
j=${i:r}
mv -i ${i} ${j:r}-${i:e}.${j:e}
done
0130名無しさん@お腹いっぱい。
2008/03/03(月) 19:01:42なるほど、-iをつけて重複したものに上書きするのを防ぐというわけですか。
自動でユニークなファイル名をつけるにはもうちょっとシェルスクリプト書けば良さそうですね。
wgetでダウンロードする時点ではでないんでしょうか。
for i in *.1 *.2
は *.整数 なもの全てに対応するには *.[0-9]* でいいのだろうか。
でもこれだと .3g2 もひっかかるか。
0131名無しさん@お腹いっぱい。
2008/03/03(月) 19:04:220132名無しさん@お腹いっぱい。
2008/03/22(土) 13:38:18@tmp=("Alina-G", "Anastasia-S", "Anna-T", "Anna-Z", "Iryna-M", "Kateryna-V", "Larisa-H", "Oksana", "Olga-S",
"Olha-D", "Sasha-D", "Sasha-L", "Svetlana-T", "Ulyana-A", "Ulyana-M", "Valeriya-L", "Victoria-D", "Victoria-S", "Yuliya-S", "Yuliya-Z");
$baseurl = "http://www.candydoll.tv/images/";
foreach $f(@tmp){
for ($i=1 ;$i < 7;$i++){
$imgname = sprintf"%s-images%02d", $f, $i
$url = sprintf "%s/%s.jpg",$baseurl,$imgname; system "wget " . $url;
$cnvcmd = sprintf "jpegtopnm %s.jpg > %s.pnm",$imgname,$imgname; system $cnvcmd;
}
$a = "pnmcat -lr ". sprintf "%s-images01.pnm ",$f; $a .= sprintf "%s-images02.pnm ", $f; $a .= sprintf "> %s-images_a.pnm", $f;
system $a;
$a = "pnmcat -lr ". sprintf "%s-images03.pnm ",$f; $a .= sprintf "%s-images04.pnm ", $f; $a .= sprintf "> %s-images_b.pnm", $f;
system $a;
$a = "pnmcat -lr " . sprintf "%s-images05.pnm ",$f; $a .= sprintf "%s-images06.pnm ", $f; $a .= sprintf "> %s-images_c.pnm", $f;
system $a;
$a = "pnmcat -tb ". sprintf "%s-images_[abc].pnm |pnmtojpeg > %s-image.jpg",$f,$f; system $a;
}
system "rm *.pnm";
■ このスレッドは過去ログ倉庫に格納されています