トップページ⇒unix
1001コメント292KB

連番のＨ画像/動画を一気にダウンロードする2

■ このスレッドは過去ログ倉庫に格納されています
0001前スレ12005/12/26(月) 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0017名無しさん＠お腹いっぱい。2006/01/19(木) 02:24:29
refferer?
0018名無しさん＠お腹いっぱい。2006/01/19(木) 04:39:48
リファラだけっぽいね。おいしくいただきました
0019名無しさん＠お腹いっぱい。2006/01/28(土) 08:56:57
>>16
$zsh
%wget --referer=http://www.descargas.sectahentai.org/ http://www.descargas.sectahentai.org/uploads3/matthewkidman/hmangas_archivos/Incest%20and%20Straight%20Shota/Namadashi%20Cho%20Inbo/namadashi_{001..180}.jpg
0020名無しさん＠お腹いっぱい。2006/02/15(水) 01:25:59
wgetを使ってhttp://wallstny.exblog.jp/のblogを丸ごと保存しようと思っています。
ブラウザで表示される文はきちんと取得できるのですが、
ページの一番下にある"次のページ"から先やカテゴリーといったリンクが取得できません。

エロ画像ではないと思いつつもダウンロードに関する適切なスレが分からないので
ここで質問してみました。教えて頂けると助かります
0021名無しさん＠お腹いっぱい。2006/02/15(水) 07:17:57
464ﾀｲｰﾎage
0022名無しさん＠お腹いっぱい。2006/02/15(水) 07:37:36
http://f30.aaa.livedoor.jp/~kokodake/unix.html
0023名無しさん＠お腹いっぱい。2006/03/19(日) 18:10:30
>>20
$wget -r -np -l 20 http://hogehoge.jp/
0024名無しさん＠お腹いっぱい。2006/04/06(木) 23:48:33
チャイニーズなHPの画像ってなんか色々ほどこしてて一気に落とせない希ガス。
例えば　ttp://zxz.jugem.jp/　のリンク先とか。
誰か支援お願いします。
0025名無しさん＠お腹いっぱい。2006/05/04(木) 19:03:09
ttp://2.dtiblog.com/g/gazo/file/27083.jpg
数字は可変
根こそぎ落とすにはどうすればいいでしょうか。
今は仕方ないので、シェルスクリプトでアドレスを片っ端から書いた
リストを作ってそれをwgetで読み込ませていますが、もっとスマートな方法が
無いものか。
0026名無しさん＠お腹いっぱい。2006/05/04(木) 20:37:08
>25
そうやって悩んでいろいろやっているうちに、
立派なUnix使いに成長していきますよ。
0027名無しさん＠お腹いっぱい。2006/05/04(木) 23:24:50
>>25
神様はseqを与えられた。
0028名無しさん＠お腹いっぱい。2006/05/05(金) 16:37:43
>>25俺にもurabonのアドレスを片っ端から書いていた時代がありました。
0029名無しさん＠お腹いっぱい。2006/05/05(金) 17:21:54
>>25
Firefox+FlashGotが(･∀･)ｲｲ!!
0030名無しさん＠お腹いっぱい。2006/05/06(土) 17:41:31
GW中にエログ巡回して画像保存してその日に新しくダウンロードした画像のスライドショーのHTMLを吐き出すスクリプト書こうと思ってたのに
もうGW終わっちゃうよう。いつでも書けるけどまとまった時間で書きたかったのに
0031名無しさん＠お腹いっぱい。2006/05/06(土) 21:10:56
もはや画像自体はどうでもよくなってきてるが…

意外と手強いパターン
ttp://x.warnet.ws/img/119/image/DDF2.htm

なかを見ると
ttp://img17.imagevenue.com/img.php?loc=loc24&image=28455_7519060.jpg
みたいな連番対策付きのファイル名になってて
実際のデータはさらにハッシュつきdirの中。
ttp://img17.imagevenue.com/aAfkjfp01fo1i-5116/loc24/28455_7519060.jpg

2段階再帰かければ届きそうだけど
0032名無しさん＠お腹いっぱい。2006/05/06(土) 23:23:27
>>31
そんなの俺ならあきらめて俺も再帰だな
wgetに-lオプションつけて
0033名無しさん＠お腹いっぱい。2006/05/07(日) 01:15:17
まじな話、grepのようなコマンドをほかのサーバにログインしないで
かける方法ってないもんか
0034名無しさん＠お腹いっぱい。2006/05/08(月) 19:00:10
まじな話
http://enum.ninpou.jp/
これ使えばいいじゃん(jpgのダウンで使用)
0035名無しさん＠お腹いっぱい。2006/05/08(月) 19:51:42
>>34
宣伝乙
0036名無しさん＠お腹いっぱい。2006/05/09(火) 02:38:02
>>34イラネ
0037名無しさん＠お腹いっぱい。2006/05/13(土) 03:44:48
ブラウザ(w3m含む)では見れる
http://theblind.liveadulthost.com/087/001.jpg

wget 出来ない(--referer は試した)

ナジェ?
0038名無しさん＠お腹いっぱい。2006/05/13(土) 09:35:49
>>37
User-Agent
0039名無しさん＠お腹いっぱい。2006/05/18(木) 13:02:55
>>38
そうみたいだね。

>>37
%wget -U='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT 5.0; .NET CLR 1.0.3705)' http://theblind.liveadulthost.com/087/{001..100}.jpg
0040392006/05/18(木) 13:24:58
画像120まであった。
100を120に訂正してね。
0041名無しさん＠お腹いっぱい。2006/05/19(金) 01:33:55
>>39
001.jpgじゃなくて1.jpgにされてしまってだめだったぞ。
俺はこれ
seq -f http://theblind.liveadulthost.com/087/%03g.jpg 1 120|wget -U ' ' -i -
0042名無しさん＠お腹いっぱい。2006/05/19(金) 20:38:43
毎回UAのオプション付けるの面倒だから、
俺は~/.wgetrcに以下を追加してる
user_agent=Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)
0043名無しさん＠お腹いっぱい。2006/05/27(土) 09:17:13
http://hp34.0zero.jp/667/deaitwo/
0044名無しさん＠お腹いっぱい。2006/05/27(土) 21:32:36
ダウンロードじゃないけど linux 版(wine版)の picasa が出たってさ
0045名無しさん＠お腹いっぱい。2006/06/12(月) 13:04:46
トラジ復活age
0046名無しさん＠お腹いっぱい。2006/06/15(木) 12:23:05
ようつべオワタ＼(^o^)／
0047名無しさん＠お腹いっぱい。2006/06/30(金) 10:03:32
この辺は結構強敵
ttp://www.imagefap.com/gallery.php?gid=188736

htmlパースして thumb => full 置換すればいいんだけど
順序が失われるんでカウンタ用意してリネーム...

そろそろ 手軽に の領域じゃねーな
0048名無しさん＠お腹いっぱい。2006/06/30(金) 20:05:05
自作のしょぼいダウンローダうｐ
ttp://file300kb.run.buttobi.net/fl/src/Oil0393.txt

例えば>>47なら
$ ./exwgetr -a -o -d "/thumb/.*.jpg$" "http://www.imagefap.com/gallery.php?gid=188736 " | sed "s/thumb/full/" | wget -i -
0049名無しさん＠お腹いっぱい。2006/07/03(月) 12:22:33
>>48
なかなか使えますね〜
ありがたく使わさせて頂きますです。（謝謝！
0050名無しさん@Vim%Chalice2006/07/03(月) 23:02:34
>>48
オイラも便利に使わしてもらってます。

今まで泥臭くやってたけど
一発でhtmlパースしてgrepまでこなしちゃうスクリプト素敵。
perl使いカコイイなぁ...素敵なスクリプトありが豚です。
0051名無しさん＠お腹いっぱい。2006/07/04(火) 00:22:47
ちょっと恥ずかしいバグ修正版です
ttp://file300kb.run.buttobi.net/fl/src/Oil0405.txt
503とか通信エラーにめっぽう弱い（なんとリトライ機能がついてない！）のでご注意を……
0052名無しさん＠お腹いっぱい。2006/07/04(火) 03:26:51
wget を使っているのですが、ファイルスタンプが、そのファイルが出来た日付たとえば、
2004/05/12見たいな感じで取り込まれてしまいます。
そうではなく、取り込んだ日付ex 2006/07/04に変更するwgetのオプションってありますか？
wget -N かと思ったのですが、どうも違うみたいです。
0053名無しさん＠お腹いっぱい。2006/07/04(火) 08:04:31
touch しちゃうのはだめ？
0054522006/07/05(水) 10:48:01
>>53
touchで行けました。ありがとうございました。
touchでは、空のファイル(0バイト)に強制的になるのかと思ってました。
時刻だけ変更できるのですね。
0055名無しさん＠お腹いっぱい。2006/07/15(土) 11:40:15
さっきコミックをダウンロードして
早速DVDーRに落とそうとしたのですが容量が大きいんです。
それで圧縮したまま落としたんですが今度は
コミックの画像をめくろうとしてもめくれなくなりました。
(すべて展開したときはめくれました)
そこでDVD-Rにコミックを上手に落とすやり方を教えてください。
0056名無しさん＠お腹いっぱい。2006/07/15(土) 11:51:46
DVD-Rはポリカーボネート樹脂でできているから、
コミック程度の重さならどんな落しかたでも問題ないと思うよ。
0057名無しさん＠お腹いっぱい。2006/07/15(土) 17:22:21
>>55
マジレスすると、ウインドウズ系の圧縮フォルダ機能は全て展開しないとページめくりは出来ない

結論
コミックくらい買え
0058名無しさん＠お腹いっぱい。2006/07/15(土) 18:09:21
unix系にはﾐｰﾔみたいなソフト無いの？
0059名無しさん＠お腹いっぱい。2006/07/15(土) 20:03:05
>>58
探せばあると思うよ
http://pc8.2ch.net/test/read.cgi/linux/1136386462/l50
0060名無しさん＠お腹いっぱい。2006/07/16(日) 00:17:49
wineじゃだめか
0061名無しさん＠お腹いっぱい。2006/07/17(月) 14:11:33
>58
xv -vsmap が結局便利なんだよな

いいソフトあれば紹介よろしゅう
0062名無しさん＠お腹いっぱい。2006/07/17(月) 22:18:09
>>48
再うpお願い出来ますでしょうか？
0063名無しさん＠お腹いっぱい。2006/07/17(月) 22:56:05
refuse to dance
0064名無しさん＠お腹いっぱい。2006/07/17(月) 22:58:32
>>61
個人的にはgimv使ってる。以前はxzgvが軽かったので使ってたのだけど、
ZIPファイルに入った同人誌をそのまま読めるので乗り換えた。
0065名無しさん＠お腹いっぱい。2006/07/17(月) 23:22:04
俺もgimageview使ってる。
サムネイル表示出来て、画像表示も見やすくて、スケーリングが高品質な所が気に入ってる。
0066名無しさん＠お腹いっぱい。2006/07/17(月) 23:29:31
> スケーリングが高品質
ミーヤ(Intel)のイメージライブラリとどっちが上?
0067名無しさん＠お腹いっぱい。2006/07/18(火) 00:00:37
gimvではbilinear補間を使ってるけど、hyperbolicなんか使ったこともないし、
コミック類はnearestのほうがいいかなと思うけど、
いちいち切り替えるのがめんどうだからそのまんま。

で、どの方法と比較したいの?
0068名無しさん＠お腹いっぱい。2006/07/24(月) 06:17:28
ハイビジョン映画などのコンテンツ
PCで見れるサイト見つけた！
無料で見れるものを凄く集まってる。
ハードディスクの容量足りない。(>_<)
http://piggy2doggy.googlepages.com/
0069名無しさん＠お腹いっぱい。2006/07/24(月) 11:21:12
最近現れたのは拡張子が.shtmlでContent-type: text/plainな奴。
中身はHTMLで、画像へのリンクには乱数が入ってる。
つまりIEのContent-typeを無視するバグを利用しないと見れない。
とても嫌らしい。
0070名無しさん＠お腹いっぱい。2006/07/26(水) 04:48:40
>>69
HTMLのソースからリンク抜きだしてwgetなりに渡すんじゃダメ？
0071名無しさん＠お腹いっぱい。2006/07/29(土) 15:12:17
連番は ttp://service.ifdef.jp/ のソースを保存して改良して
お気に入りでok
0072名無しさん＠お腹いっぱい。2006/07/29(土) 16:42:00
宣伝?
0073名無しさん＠お腹いっぱい。2006/07/29(土) 16:48:08
>>71
>>34

宣伝乙
0074712006/08/01(火) 15:19:52
>>34 にあったのね
すまん

宣伝じゃないよw
0075名無しさん＠お腹いっぱい。2006/08/06(日) 14:23:15
過疎スレだな
0076名無しさん＠お腹いっぱい。2006/08/06(日) 22:55:24
This is the thread in UNIX board.
0077名無しさん＠お腹いっぱい。2006/09/10(日) 13:07:12
hosyu
0078名無しさん＠お腹いっぱい。2006/09/13(水) 16:44:20
pthread_join( >>76, NULL );
0079名無しさん＠お腹いっぱい。2006/09/22(金) 12:27:18
連番のＨ画像/動画を一気にアップロードする
いい方法はない？
yahooとかlivedoor みたいなとこで。
0080名無しさん＠お腹いっぱい。2006/09/22(金) 12:35:56
>>79
URIの実例プリーズ
0081名無しさん＠お腹いっぱい。2006/09/22(金) 13:02:34
>>79
zip
0082名無しさん＠お腹いっぱい。2006/09/22(金) 18:59:58
>>80
例えばこんなところで↓
http://geocities.yahoo.co.jp/
http://photos.yahoo.co.jp/
http://briefcase.yahoo.co.jp/
>>81
それを昔していましたがzip以外でしたいです。
0083名無しさん＠お腹いっぱい。2006/09/23(土) 08:49:55
>>82
lha
0084名無しさん＠お腹いっぱい。2006/11/15(水) 13:15:50
JavaScript で window.navigator.appName 見てるとこって
どうすればいいの？
0085名無しさん＠お腹いっぱい。2006/11/15(水) 23:46:36
どうしたいの？
0086名無しさん＠お腹いっぱい。2006/12/24(日) 18:16:39
今までcurlのお世話になってきたけど、今日LWP::UserAgent使って書き直した。
ステータスが200でtext/html返してきた時にリトライするようにしたかった。
0087名無しさん＠お腹いっぱい。2006/12/25(月) 01:56:18
完璧だ。対artemisweb最終兵器かもしれない。
0088名無しさん＠お腹いっぱい。2006/12/25(月) 02:02:00
次はHTML::Parser使ってwget相当のも作るか。夢が広がりんぐw
0089名無しさん＠お腹いっぱい。2006/12/25(月) 02:21:00
ヒント：今日はクリスマス
0090名無しさん＠お腹いっぱい。2006/12/25(月) 02:38:41
plagger のプラグインをきぼん。
0091!dama2007/01/02(火) 04:02:34
てすてす
0092名無しさん＠お腹いっぱい。2007/01/04(木) 01:35:38
HTML::Parser使ったwget相当のも出来た。
0093名無しさん＠お腹いっぱい。2007/01/04(木) 01:43:48
それ Plagger でできるお
0094名無しさん＠お腹いっぱい。2007/01/04(木) 02:40:27
主目的はアルテミス対策の姑息なリトライ判定の導入ですから
それとHTML::*やHTTP::*やLWP::*のお勉強
0095名無しさん＠お腹いっぱい。2007/01/20(土) 03:39:43
test
0096名無しさん＠お腹いっぱい。2007/04/02(月) 19:34:19
連番ではないんですが、
imepita.jpなんかにうｐされた画像を自動巡回して拾い集めたいなと思っています。
例えばこんなのとか http://imepita.jp/20070402/701450
このurlをブラウザーで開くと普通にみれるのですが。
curlやwgetでこのURLを開くと404になってしまい、
htmlが取得できず困っています。
うｐされた画像のアドレスと表示用のURLに相関関係がないのでhtmlを調べないと画像が取得できません。

どなたか偉い方よろしくおねがいします


0097名無しさん＠お腹いっぱい。2007/04/02(月) 20:05:08
>>96
お約束の User-Agent: とか Referer: あたりはどうよ。
0098名無しさん＠お腹いっぱい。2007/04/02(月) 20:39:36
ブラウザーで直接開いてみれたので、Refererは試していませんでした。
User-Agent:は試したのですが変わらず・・・。
ちょっとRefererもやってみます。
0099名無しさん＠お腹いっぱい。2007/04/02(月) 20:44:05
refererいれても変わりませんでした
0100名無しさん＠お腹いっぱい。2007/04/02(月) 23:23:17
>>96
Accept-Language: ja
とかは?
0101962007/04/03(火) 08:31:48
>100
神！
ありがとうございました
0102名無しさん＠お腹いっぱい。2007/04/10(火) 23:16:28
みなさんが、
連番のＨ画像/動画を一気にダウンロードしたものを僕に下さい(>_<)(>_<)
0103名無しさん＠お腹いっぱい。2007/04/21(土) 16:02:05
>>96とはべつの人なのですが、imepitaの画像をダウンロードできません。
ブラウザでは保存可能でした。

wget --referer='http://imepita.jp/20070402/701450' -U='Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)' --header='Accept-Language: ja' 'http://imepita.jp/kp_img/trial/20070402/701450.jpg?FFunc=IConf&FFcom=%22off%22'

としています。
指摘よろしくおねがいします。
0104名無しさん＠お腹いっぱい。2007/05/01(火) 13:54:45
imageFAPの画像を　wgetでおとすのは難しい？　落としかた教えてください
0105名無しさん＠お腹いっぱい。2007/05/01(火) 19:01:17
>>104
とりあえずURLを書きなさいよ
0106名無しさん＠お腹いっぱい。2007/05/05(土) 09:35:29
結構難題(というか出来なかった)

ttp://infostore.org/info/3078906?refer=2257986&rs=2
→ ttp://img44.imagevenue.com/aAfkjfp01fo1i-24835/loc286/27363_004pat060.jpg
0107名無しさん＠お腹いっぱい。2007/05/05(土) 10:51:18
lynx -dump 'http://infostore.org/info/3078906?refer=2257986&rs=2' |
grep -o 'http://[^#]*' |
grep 'imagevenue.com/img.php' |
while read LINE; do
lynx -dump -image_links $LINE |
grep -o 'http://[^#]*' |
grep '/loc[0-9][0-9]*/'
done
0108名無しさん＠お腹いっぱい。2007/05/05(土) 11:08:02
ああ、ここUNIX板だから grep -o はまずいか。perl -ne 'print $& if m{pattern}' とかで。
あとは sleep もいれたほうがいいかも
0109名無しさん＠お腹いっぱい。2007/05/05(土) 12:23:56
俺んとこlynx入ってなかったのでsedとcurlで

$ cat hoge.sh
#!/bin/sh

curl -s "$1" |
grep imagevenue |
sed -n -e "s/href='\\([^']*\\)'/\\
HREF=\\1\\
/gp" |
sed -n -e "/HREF=/s/HREF=//p" |
while read URL
do
dir="`dirname \"$URL\"`"
file=`curl -s "$URL" | sed -n -e '/thepic/ {N; s/.*SRC="\([^"]*\)".*/\1/p;}'`
curl -s --referer "$URL" -O "$dir/$file"
done

$ ./hoge.sh 'http://infostore.org/info/3078906?refer=2257986&rs=2'
0110名無しさん＠お腹いっぱい。2007/05/05(土) 15:07:32
勉強になるなぁ(何の???)
0111名無しさん＠お腹いっぱい。2007/05/05(土) 19:36:37
http://www.imagefap.com/gallery.php?gid=330938
>>105
0112名無しさん＠お腹いっぱい。2007/05/05(土) 23:32:55
>>111
imagefapは
(1) ギャラリーページから全てのギャラリーページのURLを抽出
(2) 各ギャラリーページから画像ページのURLを抽出
(3) 画像ページから画像ファイルのURLを抽出

という手順になると思う。(3) のURLはJavaScriptでブラウザに生成させてるのでwgetとかでは無理っぽい。
0113名無しさん＠お腹いっぱい。2007/05/06(日) 09:10:45
ギャラリーページサムネイルのURLを置換してやればいいんでないの?
http://images.imagefap.com/images/thumb/11/141/1414518509.jpg
http://images.imagefap.com/images/full/11/141/1414518509.jpg
0114名無しさん＠お腹いっぱい。2007/05/06(日) 21:18:14
get_links_from_url() { lynx -dump -image_links "$1" | grep -o 'http://[^#]*'; }

for URL in `seq -f 'http://www.imagefap.com/gallery.php?gid=330938&page=%g' 0 8`; do
echo get: $URL >&2
get_links_from_url $URL | sed -n '/thumb/s/thumb/full/p'
done
0115名無しさん＠お腹いっぱい。2007/10/23(火) 21:46:50
最近ぐっと来るネタがないっすねぇ
0116名無しさん＠お腹いっぱい。2007/10/27(土) 02:27:20
最近のエロ画像はZIPで固めてrapidshareだからなあ
■ このスレッドは過去ログ倉庫に格納されています