トップページ⇒unix
1001コメント292KB

連番のＨ画像/動画を一気にダウンロードする2

■ このスレッドは過去ログ倉庫に格納されています
0001前スレ12005/12/26(月) 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
02021572009/12/06(日) 20:01:16
>>200
239行目でもwww無しでURLチェックしてるので
そこにもwwwを加えてください

作成した時は多分wwwが無かったのだと思います

>>201
原因不明です
URLお願いします
0203名無しさん＠お腹いっぱい。2009/12/06(日) 21:34:25
201じゃないけどなぜか見れないのがあるぜ
数日前は大丈夫だったはずなのに・・・

http://g.e-hentai.org/g/181326/7405b90607/
02042002009/12/06(日) 22:50:08
エディタによって行数が変わってしまって239行目がどこか分からず
秀丸使ってるんだけど239行目はmakedir中のprint〜でURLチェックとは無関係だす

とりあえず数箇所URLでimagefap.comがあるところの前（cache.imagefap/com除く）
にwww.をつけたらエラーなしで動いたけど今度は指定URLとは関係ないギャラリーの画像を取得した
保存されたフォルダは指定URLと同じ番号なのに中身が別物、別のギャラリーとか思って調べてみたけど
同じファイル数のギャラリーが存在してなかった、なんぞこれ
0205名無しさん＠お腹いっぱい。2009/12/06(日) 23:36:02
e-hentaiの件
見れるのと見れない画像の差を理解した。
ヒントはおまいらの好きなタグだｗ
そのタグに入ってたのは一切見れなくなってて
やっぱりなーと思った。
0206名無しさん＠お腹いっぱい。2009/12/07(月) 02:17:49
P2Pが仕様できないわが身としてはe-hentaiが頼りの綱だったのだが
困ってしまうなぁ
0207名無しさん＠お腹いっぱい。2009/12/07(月) 19:24:25
何個か上げりゃポイントでDL出来るんだからそれで妥協すりゃいいじゃん
0208名無しさん＠お腹いっぱい。2009/12/07(月) 20:16:39
どのくらいのポイントでどのくらいダウソできるの？
0209名無しさん＠お腹いっぱい。2009/12/08(火) 01:04:08
必要なポイントはファイルサイズとファイル数によるし、
もらえるポイントは他人の閲覧数とDL数で決まるからサムネイルで食いつきそうなの上げればいい

長くお世話になる気ならいつ使えなくなるか分からん上に更新も期待出来ないツールより、
いくつか定期的に提供して数クリックで快適にDL出来る方が俺にとっては便利だからそうしてる
0210名無しさん＠お腹いっぱい。2009/12/08(火) 15:30:16
ロリ系が全く開かんなっとる…(´・ω・`)
0211名無しさん＠お腹いっぱい。2009/12/08(火) 23:29:14
復帰しないのかねえ
0212名無しさん＠お腹いっぱい。2009/12/10(木) 17:56:06
規制が反発をより強くするだけだと
なぜ分からないのか･･･愚か過ぎる
0213名無しさん＠お腹いっぱい。2009/12/10(木) 21:30:24
趣味でやってるようなもんに何言ってるんだ
向こうはいつでも閉鎖できるんだし
0214名無しさん＠お腹いっぱい。2009/12/10(木) 21:41:52
上の神スクリプトでさ、
例えば100枚落として弾かれたら、次は101枚目からDL開始するとかは出来ないんでしょうか。
0215名無しさん＠お腹いっぱい。2009/12/11(金) 05:49:50
e-HENTAIの制限は、要は短期間に複数の画像ファイルにアクセスするのを制限してるんですよね？
だったらスクリプトが一枚画像にアクセスしたらインターバルを置いて（手作業で開いて保存するくらいの時間？）、
次のファイルにアクセスするようにすれば良いんじゃないでしょうか？
時間はかかるかもしれませんが、一枚一枚手作業で保存する手間を考えれば妥協できると思うんですが…
0216名無しさん＠お腹いっぱい。2009/12/11(金) 06:53:55
>>215
>>178で既出の話題だな
とはいえそのインターバルがどれほどなのかは興味があるな
0217名無しさん＠お腹いっぱい。2009/12/12(土) 01:18:04
同じものを同じ条件でダウソしてもダウソ可能数が変動するから
インターバルとかダウンロード容量以外の影響も受けてると思う
そうなると全く分からん

そもそも各IPで制限してるのかすら分からないんだよ
串かましてダウソできてもダウソ可能数がまた違う
0218名無しさん＠お腹いっぱい。2009/12/12(土) 18:14:10
へたれプログラマの俺でも永久動作のEHGダウソソフト作れたよ
既に公開されている素晴らしいツールらを組み合わせて何とかなった
ヒマがあったら作ってみたりゃ良い
0219名無しさん＠お腹いっぱい。2009/12/13(日) 12:33:46
永久動作のヒントだけでも教えてくだされ神さまよ
0220名無しさん＠お腹いっぱい。2009/12/14(月) 21:54:13
avtokeiのプロフを落とすために24時間のスクリプト仕掛けた。
画像は一気に落とせたんだがなあ。
0221名無しさん＠お腹いっぱい。2009/12/16(水) 00:36:08
E-hentai以外で似たようなサイトはないものかね
0222名無しさん＠お腹いっぱい。2009/12/16(水) 02:05:03
まぁいろんなところからかき集めれば同じなんだけどね
0223名無しさん＠お腹いっぱい。2009/12/16(水) 20:31:50
規制無くならないのかねぇ･･･
サムネでロリっぽい画像使ってるやつも入れなくなってるみたいだし
0224名無しさん＠お腹いっぱい。2009/12/19(土) 02:10:14
509 BANDWIDTH　が　出ちまった・・・
1枚1枚ダウソしてたが　150枚くらいで。どうにかならないか…泣
0225名無しさん＠お腹いっぱい。2009/12/29(火) 02:15:45
E-hentaiに10個ほどうｐして、
最初の数日はどんどんポイントが溜まっていった。
しかしこの頃は一日に100P入るかどうか、
日がたつにつれてgalleryごとにもらえる
ポイントのレートが下がってるのかな
0226名無しさん＠お腹いっぱい。2009/12/31(木) 14:31:42
E-hentaiの画像をまとめて保存出来るツール教えてください
0227名無しさん＠お腹いっぱい。2009/12/31(木) 14:43:51
半年ROMれ
0228名無しさん＠お腹いっぱい。2009/12/31(木) 17:11:06
rapidshare のものを(スピードは遅くてもいいので)
batch 処理で落とすためのスクリプトってないのかな?

最初の URL を wget でもってきて html を覗いて
<form action="http://... " method="post"> がそれっぽいんだけど
それを直接 wget しても×なんだよね…
0229名無しさん＠お腹いっぱい。2009/12/31(木) 19:35:56

IP代わんないと連続では無理
0230名無しさん＠お腹いっぱい。2009/12/31(木) 23:29:48
freerapidがjavaで出来てるからひょっとしたら動くのかも
0231名無しさん＠お腹いっぱい。2010/01/07(木) 11:31:14
e-hentaiって解除確認に行って509だったら期間延長とかされんのかな。
0232名無しさん＠お腹いっぱい。2010/01/08(金) 04:03:40
それは関係なし
0233名無しさん＠お腹いっぱい。2010/01/08(金) 16:28:13
>>189
再うｐお願いします。
0234名無しさん＠お腹いっぱい。2010/01/11(月) 04:18:01
e-hentaiブラウザが縦に長くなってどれも見れなくなっちゃった
これが規制なのかな
0235名無しさん＠お腹いっぱい。2010/01/13(水) 23:24:43
どーなってんだろうね。
サムネまでは見れるが、そこから画像にアクセスしている気配すらない。
原因はなんなんでしょ。
0236名無しさん＠お腹いっぱい。2010/01/14(木) 15:03:58
e-hentaiはUpしてもいちいち既出だ既出だと騒いでくるから鬱陶しい
0237名無しさん＠お腹いっぱい。2010/01/14(木) 15:30:19
e-hentaiはダウソする場所ではなく、どういうものがあるのか確認する場所だと思ってる
必要ないもの集めても仕方ないし、特定のものだけでも手間かかりすぎる
0238名無しさん＠お腹いっぱい。2010/01/14(木) 18:36:03
rapidshare

1. 最初のページ内の action="http://hogehoge" から "http://hogehoge" を抽出
2. 次のターゲット
% wget --post-data="dl.start=Free" http://hogehoge
3. 100秒とか待つ(カウントダウンタイマー分)
4. (2. から最終ターゲットを抽出して)wget

1.〜4. を 30分間隔(容量次第?)とかでぐるぐる
0239名無しさん＠お腹いっぱい。2010/01/14(木) 18:41:46
perl WWW::Mechanize の練習にちょうどいいかもしれないな
0240名無しさん＠お腹いっぱい。2010/01/16(土) 15:10:54
e-hentai用のスクリプトを書いたけど
リファラ,user-agentとクッキーを設定してやったら
スレッドは1つだけど退避時間もなしで、
509でなくなったよ。
0241名無しさん＠お腹いっぱい。2010/01/16(土) 16:19:36
あまりえげつないことやると向こうも対策してくるからほどほどにするようにw
0242名無しさん＠お腹いっぱい。2010/01/16(土) 21:45:19
*.listファイルを作ります。
↑
これの作り方わかんないだけど、どうやんの？
0243名無しさん＠お腹いっぱい。2010/01/16(土) 22:25:27
>>242
うｐされてから半年間はそんな質問はなかったな
他と比較して自分の理解力を身をもって知るべきだ
短く言えば "アホは来るな"
0244名無しさん＠お腹いっぱい。2010/01/18(月) 09:27:43
>>189のツール使ってるんだけど、急に弾かれるようになっちゃった…


Your IP address is not allowed to access that
Your IP address has been temporarily banned for using automated mirroring/harvesting software and/or failing to heed the overload warning. The ban expires in 56 minutes 23 seconds
だって…

WIN向けだからここで聞くのも間違っている気もするんだけど、何か対策されたのかな？
0245名無しさん＠お腹いっぱい。2010/01/18(月) 14:42:55
元々運が良かっただけとか
てか再うｐきぼんぬ
0246名無しさん＠お腹いっぱい。2010/01/18(月) 17:25:43
>>244
俺も弾かれるようになった
おそらく対策されたんだろう
いままで対策されなかったのが不思議だったし
0247名無しさん＠お腹いっぱい。2010/01/18(月) 19:17:53
やはり対策されたのか…
もともと発祥のちんこロダもなくなっちゃったし、ばーうｐの方法もないし、対応難しいかなぁ
0248名無しさん＠お腹いっぱい。2010/01/19(火) 19:01:43
>>245
なんとも図々しい。
頼み方も知らないのか。
0249名無しさん＠お腹いっぱい。2010/01/21(木) 03:38:16
e-hentaiって有料なの？
あれだけのデータをただで見れるとか怖くなっちゃうんだけど
0250名無しさん＠お腹いっぱい。2010/01/21(木) 11:43:11
197 名前：名無しさん＠ピンキー[] 投稿日：2009/12/28(月) 17:04:38 ID:a4+zYW5n0
E-Hentaiって、有料なんですか？
freeとあるから無料なのですか？
0251名無しさん＠お腹いっぱい。2010/01/26(火) 22:07:41
>>189
再うｐおねがします
本当頼みます
0252名無しさん＠お腹いっぱい。2010/01/27(水) 14:39:42
>>251

244 ：名無しさん＠お腹いっぱい。：2010/01/18(月) 09:27:43
>>189のツール使ってるんだけど、急に弾かれるようになっちゃった…
Your IP address is not allowed to access that
Your IP address has been temporarily banned for using automated mirroring/harvesting software and/or failing to heed the overload warning. The ban expires in 56 minutes 23 seconds
だって…
WIN向けだからここで聞くのも間違っている気もするんだけど、何か対策されたのかな？

246 ：名無しさん＠お腹いっぱい。：2010/01/18(月) 17:25:43
>>244
俺も弾かれるようになった
おそらく対策されたんだろう
いままで対策されなかったのが不思議だったし

前レス読んだ？急に真剣になってバカじゃないの？？
0253名無しさん＠お腹いっぱい。2010/01/27(水) 22:39:27
別人に何を言ってるんだ
0254名無しさん＠お腹いっぱい。2010/02/02(火) 00:50:57
誰かこれ頼む。もう3日なやんどる
http://jappygal.blogspot.com/2010/01/dgcyuki-mogami-no811-201002.html
0255名無しさん＠お腹いっぱい。2010/02/02(火) 13:00:37
cookieとjsでガチガチになってるわけでもなし。簡単じゃないか
URL=http://jappygal.blogspot.com/2010/01/dgcyuki-mogami-no811-201002.html
wget -O- "$URL" | grep -o "http://[^\"']*.jpg" | sed -ne "/s1600-h/s/s1600-h/s1600/p" >LIST
wget -i LIST
0256名無しさん＠お腹いっぱい。2010/02/02(火) 14:02:53
2スレ目でそろそろ「基本テク」をおさらい・まとめて
おかないといけないんじゃないかな…

ページソースや直URL確認
wget --referer オプションやら -r -l などなど
zsh の連番技法 {001..052}.jpg とか

>255
html 解析から a href= 抽出するのは grep -o が使えたのか
0257名無しさん＠お腹いっぱい。2010/02/02(火) 14:14:57
前スレを見てみたい
方法の改良論とかもありそうだし
0258名無しさん＠お腹いっぱい。2010/02/02(火) 14:26:46
http://2se.dyndns.org/test/readc.cgi/pc8.2ch.net_unix_979106537/
0259名無しさん＠お腹いっぱい。2010/02/02(火) 17:20:47
前スレみたらこんなのがあった
ＵＲＬにはつながらず……

952 ：950：2005/11/05(土) 18:30:02
>>950
テキトーにつくってみました。
http://seizen.dyndns.org:8080/matome/

ちなみにおいらはperl+sh派です。
0260名無しさん＠お腹いっぱい。2010/02/07(日) 06:27:04
先ほど509になってびっくりしてググったらここに来ました
何だか知らないけどよろしくお願いします
とりあえずスレ見たらアク禁解けるまで待てと書いてあるので待ってみます
0261名無しさん＠お腹いっぱい。2010/02/07(日) 10:57:35
そういや157のツールでe-hentaiの古い画像が見れないのってどうなった？
0262名無しさん＠お腹いっぱい。2010/02/08(月) 20:25:53
e-hentaiの画像を簡単に多く取れるツール作って欲しい
0263名無しさん＠お腹いっぱい。2010/02/12(金) 20:58:02
作った…
0264名無しさん＠お腹いっぱい。2010/02/13(土) 02:49:10
おめでとう。
0265名無しさん＠お腹いっぱい。2010/02/14(日) 19:08:52
欲しいと言われると腕がなるのでおいらも挑戦してみた。
千枚保存するのに20分掛かったが帯域制限には引っ掛からなかったよ。
これが >>262 の想いに届いたなら幸せだ。

http://www1.axfc.net/uploader/File/so/38900

スクリプト起動したら"URL>"のプロンプトにギャラリートップのURLを入力してくれ。
複数のURLをテキストファイルに書いてリダイレクトで食わせてもOK。
後は放っておくだけでギャラリーIDのサブディレクトリを掘って画像を保存するよ。
0266名無しさん＠お腹いっぱい。2010/02/14(日) 21:43:09
GPの増やしかた教えてくれ
0267名無しさん＠お腹いっぱい。2010/02/15(月) 15:13:12
e-hentaiってgzip転送しているように見えるけど
phpスプリクトは対応してますか？
負荷掛けるのはいくない
0268名無しさん＠お腹いっぱい。2010/02/15(月) 16:22:00
リファーとクッキー設定してないけど
いいのだろうか
0269名無しさん＠お腹いっぱい。2010/02/15(月) 17:10:20
リファラー？
0270名無しさん＠お腹いっぱい。2010/02/15(月) 17:31:45
サムネイルしか保存出来ないんだが対策されたのだろうか
0271名無しさん＠お腹いっぱい。2010/02/15(月) 20:12:26
そもそもphpの開き方がわからない俺orz
02722632010/02/15(月) 21:12:03
クッキーないと画像は落ちないよ。
wget なら --keep-session-cookies 併用して表示ページを経由する。
オリジナルをダウンロードする場合はログインスクリプト書いて
そのクッキー使う。DL数に厳しい上限あり。
ログインしておけば通常の画像も帯域が増えるよ。
0273名無しさん＠お腹いっぱい。2010/02/15(月) 21:39:22
>>270
俺もサムネしか落ちないな
0274名無しさん＠お腹いっぱい。2010/02/15(月) 22:01:39
>>262は「e-hentaiの画像を簡単に多く取れるツール作って欲しい」と言ってるんだから
あながち嘘ではない。ソースあるんだから、なんとかしたい人ならこれをベースになんとかする。
0275名無しさん＠お腹いっぱい。2010/02/15(月) 22:57:20
この過疎地で1日のレスがこんなに付くとは思わなんだ>>265だが
一週間の掲載期間は長かったかしら。
まぁ洒落なんだからそんなに突っ込まないでくれ。
こんなところでそのまんま自前のソース広げて使われ
まくった挙句に変な対策でもされたら面倒だからね。
>>267 phpはgzip展開圧縮も普通に出来るよ。
0276名無しさん＠お腹いっぱい。2010/02/18(木) 13:16:01
リファラーってどうやってせっていすんお？

$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 6.0; rv:1.9.2) Gecko/20100115 Firefox/3.6 (.NET CLR 3.5.30729)");
$ua->proxy('http', 'http://127.0.0.1:65536/');
0277名無しさん＠お腹いっぱい。2010/02/19(金) 02:08:37
get.plでダウンロードできなくなってるんだが…

対策されたか？
0278名無しさん＠お腹いっぱい。2010/02/19(金) 15:36:48
確かにget.pl使ってもエラー吐かれるな
0279名無しさん＠お腹いっぱい。2010/02/19(金) 16:21:20
どんなエラーでてんの？
こっちも対策するぞ
0280名無しさん＠お腹いっぱい。2010/02/19(金) 17:21:23
こんなん

** make directory **
the list name is 0f9cd89d5b.list.
the directory name is 0f9cd89d5b.
0f9cd89d5b does exist.
doesn't make a directory.

** get 98 pics **

get pic's html file (1/98).
get html : success. (200 OK), [dummy.html]
get [0] ...:
HTTP::Response=HASH(0x2fd6994)->status_line, [0] : failed to download pic. try a
gain (5/5).
wait/sleep 3 sec : [***]

これを5回繰り返して止まる
0281名無しさん＠お腹いっぱい。2010/02/19(金) 18:19:24
対策っていうか, 多分画像が貼ってあるページの構造が変わって,
scrapeimgname() と scrapeimgurl() がファイル名と url を
抽出できなくなっただけ. これらの関数は getpics() から呼び出され,
抽出できなかった場合に return 0 するが, getpics() 側で特にエラー処理
してないので, エラーにならず get [0] ... とかなって走りつづけてる
(本当は 0 のとこに scrapeimgname() の戻り値であるファイル名が入る).

モジュールに依存しないように html の parse を自前でやってるが, 
俺は面倒なので, HTML::TreeBuilder::XPath 使って書き直した.

あと HTTP::Response->status_line がメソッド呼び出しなのに 
double quote で文字列展開しようとしてるので, status_line が
正しく表示できてないのもバグっぽい. 
"@{[ $res->status_line ]}" とかしといた方がいい.
0282名無しさん＠お腹いっぱい。2010/02/19(金) 18:51:06
bandwidthがperlだとブラウザより高いのけ？

QoSでperlへの帯域絞るしか無い？
0283名無しさん＠お腹いっぱい。2010/02/19(金) 22:35:10
img id.*でマッチングするようにscrapeimgnameとscrapeimgurlを書き換えたら動いたよ。
オリジナルは画像鯖のドメインでマッチングしてたんだけど、ドメインが変わったからマッチしなくなったんだね。

>>282
オリジナルだと4秒ぐらいで取りに行っちゃうから、間隔を10秒以上とるようにsleepを書き換えるとけっこう快適になるよ。
0284名無しさん＠お腹いっぱい。2010/02/19(金) 23:06:49
>>283
サブルーチンを書き換えればいいのかな
0285名無しさん＠お腹いっぱい。2010/02/19(金) 23:17:33
$t=（rnd（$base1000)）+10

とか？
0286名無しさん＠お腹いっぱい。2010/02/19(金) 23:19:13
>>284
そうそう。waitpとかいう名前だったはず。
0287名無しさん＠お腹いっぱい。2010/02/19(金) 23:21:06
私も、img idでマッチする様に書換えて、動きました。
書出すファイル名は、altタグから引っぱればいいかな。
0288名無しさん＠お腹いっぱい。2010/02/19(金) 23:23:28
>>283
便乗して悪いけど
img id.* ってのはscrape〜の
if ( m|src="http://r.e-hentai.org/.*?"| )
の部分のことでいいのかしら
0289名無しさん＠お腹いっぱい。2010/02/19(金) 23:25:00
$t=（rnd（$base1000)）+10

とか？
0290名無しさん＠お腹いっぱい。2010/02/19(金) 23:26:00
うあ
base/1000の間違い
すまぬ
0291名無しさん＠お腹いっぱい。2010/02/20(土) 01:13:58
perlの記述がよく分からないんだけども 正規表現とかimgタグとかは他の言語とかと一緒なのかな
02921572010/02/20(土) 01:54:50
URLとイメージ名のスクレイパの正規表現の手直しと
waitpの時間延長を施した新ヴァージョンができました

http://www1.axfc.net/uploader/Sc/so/84683.zip&key=ehg
0293名無しさん＠お腹いっぱい。2010/02/20(土) 11:01:04
157さんサンクス！
ちゃんと動いてます。
0294名無しさん＠お腹いっぱい。2010/02/20(土) 17:10:24
use LWP ;
my $ua = LWP::UserAgent->new;
$ua->agent("User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.0;rv:1.9.2)
");
$ua->timeout(180);
$ua->proxy('http', 'http://127.0.0.1:80/');
02951572010/02/20(土) 21:05:59
上のバージョンで>>281氏のstatus_lineのデバッグ入れるの忘れてました
すいません
0296名無しさん＠お腹いっぱい。2010/02/21(日) 13:12:16
今スクリプトのデバッグ中にふと思いついたしょーもない
むしろ '常識知らねーな' と言われそうな変更を試してる。

これで4ページ/分のペースで14冊330ページ99MBまで落としたが
一向に帯域制限がやって来ない。昨夜は引っ掛かりまくりだったし
今まで3日の間を空けたってこんなこと無かったんだがな。
サーバのプログラムが変わったばかりらしいがバグを突けたのか？
それとも今日は感謝デーなのか？
0297名無しさん＠お腹いっぱい。2010/02/21(日) 13:21:48
>>296
変更前と後のスクリプトで試してみて
両方とも帯域制限が来ないなら
今日は感謝デー

後の変更済みスクリプトだけに帯域制限がこないなら
その変更は大当たり
0298名無しさん＠お腹いっぱい。2010/02/21(日) 13:35:43
>>297
おぉ、そりゃそうだ。舞い上がって変化点検証の基本を忘れてた。やってみる。
0299名無しさん＠お腹いっぱい。2010/02/21(日) 14:56:32
すまん。サービス期間中だったようだ。
変更前のコードでも222ページ75MBまでスルスル落とせた後に 509 がやってきた。
その直後に変更後のコードを掛けてみたがやっぱり 509 だった。
多分週末メンテナンスで俺のカウンタがリセットしたとかなんだろうな。

クッキーなくなってるね。リダイレクトもなし。img id=xxx は相変わらず付いてるけど
肝心の id の値はHTML本文中に見つからない。
0300名無しさん＠お腹いっぱい。2010/02/21(日) 16:34:57
157さんのツールで、DLするページによってサムネイルページで400エラーを吐くのは何故でしょうか？
0301名無しさん＠お腹いっぱい。2010/02/21(日) 20:17:10
>>300
オレもそういうページあるけど多分複数ページじゃなくて単独ページの場所だと
動かないっぽい。
ベースページを解析するルーチンで1ページしかないページだと構文解析できずに
終わってるっぽいな。

直すのめんどいんで手作業でやってるけどね。

ついでだけど500枚くらいのやつだとエラー途中までしかDLしないのは仕様？
■ このスレッドは過去ログ倉庫に格納されています