トップページ⇒unix
1001コメント292KB

連番のＨ画像/動画を一気にダウンロードする2

■ このスレッドは過去ログ倉庫に格納されています
0001前スレ12005/12/26(月) 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0522名無しさん＠お腹いっぱい。2010/03/21(日) 01:30:51
ない
ないから串がどうのこうの上で言ってるわけ
0523名無しさん＠お腹いっぱい。2010/03/21(日) 01:31:13
>>521だけど自己解決した
登録してログインできるようになると
規制回避できるんだな
0524名無しさん＠お腹いっぱい。2010/03/21(日) 02:08:29
完全回避ではないぞ
0525名無しさん＠お腹いっぱい。2010/03/21(日) 11:59:44
傾向としてimage.phpではなくUnix秒と短いハッシュを指定する
サーバが多い場合は帯域制限に引っかかりにくいな。
そればっか続くと何処までも行ける気がする。
プロクシの良し悪し言ってる中には実はこれだったってのもあるんじゃね？
0526名無しさん＠お腹いっぱい。2010/03/21(日) 12:49:47
>>525
すんません
それ以前に、画像も串使わないと落とせないと勘違いしてました
ソースページだけ串で落として画像の直リン貰えば終了なのね

へこい串でもソースくらいなら落とせるから、画像は光でガンガン落とせてます
外人ポルノも落とせそうなくらい俺のクローラーが暇してます
1ipで制限にかかりにくくなったから少ない串で大量に落とせるとはいえ
依然として串の奪い合いなのは変わらんからツールは上げれないけど
0527名無しさん＠お腹いっぱい。2010/03/21(日) 19:46:52
と、言う事はe-hentaiは、リンクの有るページだけが
帯域制限の対象になっていて、画像自体は制限の対象
に、なってないって事？
0528名無しさん＠お腹いっぱい。2010/03/21(日) 19:50:07
E-Hentai Galleries は一気に落とすの無理なのか
0529名無しさん＠お腹いっぱい。2010/03/21(日) 19:56:22
>>527
画像鯖自体も時々509.gifよこすけど、ほんと時々。ウェイトで回避できる。
基本規制はソース鯖だけ。
ＵＲＬリストとかを共有できたら串問題も突破できるんだけど。
アップロードや鯖ソケットはやばいからなぁ。
そもそも時限式のアドレスっぽいからリストの鮮度維持せにゃならんし。
0530名無しさん＠お腹いっぱい。2010/03/21(日) 20:00:40
>>527
どちらにせよ置かれてる状況に変わりはないんだがな。
0531名無しさん＠お腹いっぱい。2010/03/21(日) 20:03:47
>>529
ちなみにimage.phpに渡るのはUnix秒を3600で割った値な。
有効期限は1時間内
0532名無しさん＠お腹いっぱい。2010/03/21(日) 20:19:11
>>531
こんなことしょっちゅうやっているお方なのか、すさまじい直感っすね
あのハッシュについて特に気にもとめてなかったです
なるほどソース取り直せばウェイト要らなかったんですね
ありがとうございます
0533名無しさん＠お腹いっぱい。2010/03/21(日) 20:23:17
>>532
おれはそんなこと言ってない。勝手に解釈するな。
それにしてもあんた数字に対する直観力ないな。
0534名無しさん＠お腹いっぱい。2010/03/21(日) 20:41:23
>>529,530
う〜ん、やっぱり509も返す事あるのか。
画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど
時間制限もあるから無理そうだし。
できるだけ、生ipは温存したいしなあ。
めんどからやっぱプロクシ両方とも通すかな。
0535名無しさん＠お腹いっぱい。2010/03/21(日) 21:04:35
>>520
ありがとうございます、モンスター出てるのに全然気が付かなかった・・・
マジックあるだけ使って、後はアタックしたら勝てました
レジェンド？とかいうのは効果は何なんだろ
0536名無しさん＠お腹いっぱい。2010/03/21(日) 21:11:03
一度だけ次に引くカードを交換することができる
0537名無しさん＠お腹いっぱい。2010/03/21(日) 22:11:00
倒したけど2creditsだけだった。先は長いな。
0538名無しさん＠お腹いっぱい。2010/03/21(日) 22:42:05
こんなに奥が深いサイトだったとは
E-Hentai攻略スレッドやまとめWikiが必要なようだな
0539名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:07
> 画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど

俺まさにそれでやってるんだけど、
経験的に言って画像URLは24時間程度は有効っぽいけど？
0540名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:51
言いだしっぺの法則
05415392010/03/21(日) 23:07:01
> 経験的に言って画像URLは24時間程度は有効っぽいけど？

鯖の生成する画像URLは確かに結構な頻度(1時間毎?)で変わるんだけど、
変わってもすぐさま前のURLが無効とはならない、という意味。
0542名無しさん＠お腹いっぱい。2010/03/21(日) 23:11:00
>>541
串通してる？画像のURLはクライアントのIPには左右されないの？
05435392010/03/21(日) 23:20:41
>>542
画像URLをゲットする時はIPアドレス切り替えていくけど、
画像本体取得時は生IP1本です。

> 画像のURLはクライアントのIPには左右されないの？

その後IP切り替えても問題なく取得出来るので、アドレスには依存しないか、
仮にするにしてもある程度の範囲は受け入れているんだと思う。
0544名無しさん＠お腹いっぱい。2010/03/21(日) 23:23:22
>>543
早い回答ありがとう。参考になったよ。
0545名無しさん＠お腹いっぱい。2010/03/21(日) 23:29:35
autopagerizeで全部表示したあとdownthemallで結構早くダウンロードできるな
0546名無しさん＠お腹いっぱい。2010/03/21(日) 23:47:47
数字の方の画像鯖時々逝ってるのあるよね
あの手のアドレスの再処理どうしてます？
0547名無しさん＠お腹いっぱい。2010/03/22(月) 00:16:01
?nl=1
0548名無しさん＠お腹いっぱい。2010/03/22(月) 00:39:18
509になってからの待ち時間が長い…
大体何分で再び見られるようになるんだ？
0549名無しさん＠お腹いっぱい。2010/03/22(月) 00:51:03
きもちよーくe-hen回収してたんだけど
いきなり画像が矢印ばかりに
0550名無しさん＠お腹いっぱい。2010/03/22(月) 00:58:16
数字鯖 or hentaiverseで検索してたんだな、ボディからの行数で特定汁
05514802010/03/22(月) 01:03:17
どうやら、また構成が変わったかな？
get.plのうｐをお待ちになっている方は、近日中にアップデートします。
今日中には、アップデートは無理かも知れません。用事が入っているので。
0552名無しさん＠お腹いっぱい。2010/03/22(月) 01:47:30
>>545
autopagerizeを導入した時点で弾かれるんだが…
0553名無しさん＠お腹いっぱい。2010/03/22(月) 04:17:01
>>549
俺だけじゃなかったか……
0554名無しさん＠お腹いっぱい。2010/03/22(月) 06:48:48
確かに丁度0時から矢印ばかりだぁな
数枚だけキチンと取れてるのもあるが
0555名無しさん＠お腹いっぱい。2010/03/22(月) 07:16:28
あー、なるほどね。
get.plではないが >>352 の後divの階層を見るようにしている自分に影響は出ないよ。
緊急の対処療法としては b.tlcとかw.ffsとかの単語を含むURLを排除することかな。
あるいはUnix時刻の話がタイムリーだが、サーバレスポンスの Date から時間値を逆算して
それの値が含まれる画像URLを見るとかね。(これ以外と堅いな)
0556名無しさん＠お腹いっぱい。2010/03/22(月) 07:38:10
</div><a href="

で探せばいいと思う。直前が閉じDIVになっているやつが本命。
オレ製ツールはこれでずっと問題なく動いてる。
05574802010/03/22(月) 08:04:21
get.pl取り急ぎ暫定バージョンです。
http://www1.axfc.net/uploader/Sc/so/95087

キーワードは、hentaiget と変らずです。
0558名無しさん＠お腹いっぱい。2010/03/22(月) 09:12:25
もしかしてツールの類を見つけて連絡するとクレジットもらえる...なんてシステムは無いだろな。
0559名無しさん＠お腹いっぱい。2010/03/22(月) 09:28:33
そんなの、いやいやいや〜〜〜。
誰もツールアップしなくなるだけだろ。
0560名無しさん＠お腹いっぱい。2010/03/22(月) 10:21:55
e-hentaiはどうやって作品検索すればよいのか教えて下さい
Searchに打ち込んでも反映されないよ
0561名無しさん＠お腹いっぱい。2010/03/22(月) 10:31:57
Search?
0562名無しさん＠お腹いっぱい。2010/03/22(月) 10:43:10
サーチキーワード(タグ)は、基本的に英語です
タイトルに日本語が含まれている場合のみ、検索対象に日本語が
使えます
そして、スレ違い
0563名無しさん＠お腹いっぱい。2010/03/22(月) 12:35:37
scriptだけからサーバの話に飛んでいる……
これがエロの力か……
0564名無しさん＠お腹いっぱい。2010/03/22(月) 14:34:12
知識がない俺にはわけわかめだぜ……
それだけにget.plとそのプロキシ版の方には感謝
0565名無しさん＠お腹いっぱい。2010/03/22(月) 14:40:07
アップしたり報告したりしてる人はいいのだが
俺はツール自作してて弾かれなんて無縁だ、でもうｐはしないぜﾋｬｯﾊｰが常駐してる意味がわからない
0566名無しさん＠お腹いっぱい。2010/03/22(月) 14:54:50
彼がワカメのまま非実在青少年単純所持者分別君に迷い込みませんように
0567名無しさん＠お腹いっぱい。2010/03/22(月) 16:24:59
get.plなんてプログラマーどもにしか使えない
オナニーじゃなくて誰にでも簡単に扱えるツールを作れよカスオナニー猿ども
0568名無しさん＠お腹いっぱい。2010/03/22(月) 16:55:19
>>567
知ったことかカスｗ
0569名無しさん＠お腹いっぱい。2010/03/22(月) 16:57:47
>>567
あんたならビルゲイツに勝てる
0570名無しさん＠お腹いっぱい。2010/03/22(月) 16:58:04
get.plを使っているわけではないけどなんとなく

# afk|tlc|lol|qqm を無視
sub scrapeimgurl(@) {
# make each image's url from a thumbnail page.
my ($ofn, $url) = @_ ;
print "url : $url\n";

use HTML::TreeBuilder;
my $tree = HTML::TreeBuilder->new_from_file($ofn);
$tree->eof();
foreach my $img ($tree->find("img")) {
next if($img->attr('src') =~ /(afk|tlc|lol|qqm)$/);

(my $returlimg = $img_tag->attr('src')) =~ s/&/&/g;
$tree->delete;
return $returlimg;
}
$tree->delete;
return "";
}

>>567
get.pl程度も使えない猿が何しにココ来てるの？
0571名無しさん＠お腹いっぱい。2010/03/22(月) 16:58:46
# divの階層
sub scrapeimgurl(@) {
# make each image's url from a thumbnail page.
my ($ofn, , $url) = @_ ;
print "url : $url\n";

use HTML::TreeBuilder;
my $tree = HTML::TreeBuilder->new_from_file($ofn);
$tree->eof();

foreach $img_tag ($tree->find("img")) {
my @div_tag = $img_tag->look_up('_tag' => 'div');
if(scalar(@div_tag) == 1){
(my $returlimg = $img_tag->attr('src')) =~ s/&/&/g;
$tree->delete;
return $returlimg;
}
}
$tree->delete;
return "";
}
0572名無しさん＠お腹いっぱい。2010/03/22(月) 17:00:07
>>557
image落とせなくね？
矢印以前に一枚も
0573名無しさん＠お腹いっぱい。2010/03/22(月) 17:02:47
あ、コピペしたら/&amp;/&/が/&/&/に…
0574名無しさん＠お腹いっぱい。2010/03/22(月) 17:11:44
俺はFirefoxの拡張でやってるけど
img要素のaltとsrcを調べて拡張子が一致する場合に画像を保存するようにしてる

var alt = img.getAttribute('alt'), src = img.getAttribute('src');
if (alt.substr(-4) == src.substr(-4)) {
// ここで保存
}

みたいな感じで
0575名無しさん＠お腹いっぱい。2010/03/22(月) 17:29:30
>>574
おぉっ、それなら明日のビルゲイツ君も喜ぶんじゃないかい。
0576名無しさん＠お腹いっぱい。2010/03/22(月) 17:41:53
>>575
つか拡張子に4文字決め打ちってのはどうなんだろうか。
それに alt は別に必須オプションじゃなかろうし必ずファイル名を書くもんでもない。
実際には "xxx.j pg" のように空白が入っていた時期もある。(最近見んけど)
いずれにせよ将来の改変には要注意だね。
でもアドオンは凄く素敵だよ。
0577名無しさん＠お腹いっぱい。2010/03/22(月) 18:00:03
ツール開発しないならE-hentaiとかいうサイトぶっ潰す
0578名無しさん＠お腹いっぱい。2010/03/22(月) 18:10:59
　　　　　　　　　　　　　　　　　　　　　　 ヘ(^o^)ヘ いいぜ
　　　　　　　　　　　　　　　　　　　　　　　　　|∧ 　
　　　　　　　　　　　　　　　　　　　　　／　　/
　　　　　　　　　　　　　　　　 (^o^)／ てめえらがどうしても
　　　　　　　　　　　　　　　 ／( 　)　　　　ツール開発しないなら
　　　　　　　(^o^) 三　　／　／ ＞
　＼　　　　 (＼＼ 三
　(／o^)　　＜　＼ 三　
　( ／
　／ く 　まずはそのふざけた
　　　　　　　E-hentaiとかいうサイトぶっ潰す
0579名無しさん＠お腹いっぱい。2010/03/22(月) 18:25:48
わざわざsageて書くことか。まず親に頼め。
0580名無しさん＠お腹いっぱい。2010/03/22(月) 20:19:58
agesageの時空が乱れる
0581名無しさん＠お腹いっぱい。2010/03/22(月) 20:42:09
このスレで共有アカウント作って協力してcredits貯めるようにすればいいんじゃないの
一度zipで落としたのは何度も落とせるんだし
0582名無しさん＠お腹いっぱい。2010/03/22(月) 20:46:36
フクナガちょー嬉しーんですけどぉお〜 アハハハハハ！アハハハハハハ！
0583名無しさん＠お腹いっぱい。2010/03/22(月) 21:05:34
ttp://www.hongfire.com/forum/forumdisplay.php?f=115
これやるから向こうで遊んできなさい。
05844802010/03/22(月) 21:57:07
やっと帰っこれた。
>>572
えっ、なんか間違ったか？と思って確認してみたが、うちでは
落とせてる。
サーバー障害か経路障害でもあったかなあ？
他に落とせない人いますか？

>>570
ヒントありがとう。
でも、HTML::TreeBuilder は、標準モジュールじゃないんだ。
それ言ったら、LWP はどうなんだって話ですが、perl配布パッケージ
に付いてくる場合が多いからなんだけど。
0585名無しさん＠お腹いっぱい。2010/03/22(月) 22:25:40
>>584
標準モジュールじゃないのは知ってるけど、
自分の入れた ActivePerl 5.10.1 Build 1007 (win)には最初からあったのでつかってみた。
入ってなかったら使ってない。
div と img に絞るなら自分でパースしてもそんなもんだと思うけど。
05864802010/03/22(月) 22:36:33
>>585
なるほど、winには入っているのか。
って言うか、うちのが perl5.8.6 使ってるからかも。
0587名無しさん＠お腹いっぱい。2010/03/22(月) 22:37:59
ついでに言うと
450行: my ($p, $d, $i) = ($_[0], "dummy.html", 1) ;
は衝突回避を考えて
450行: my ($p, $d, $i) = ($_[0], "$p/dummy.html", 1) ;
の方がいいと思う。
というか、そもそもファイル出力しなくても…
05884802010/03/22(月) 22:56:59
>>587
衝突回避は、考えていなかったです。
元のget.plに手を加えるのが、やっとの俺です。
ファイル出力はデバッグやりやすいって事で、これも元のままです。
次の修正案に生かしたいです。ありがとうです
0589名無しさん＠お腹いっぱい。2010/03/23(火) 00:10:45
あれ、十二時になったらget.plでおとせなくなった。
また仕様変わったのかな
0590名無しさん＠お腹いっぱい。2010/03/23(火) 00:18:45
いあ、普通に落ちてくるな
0591名無しさん＠お腹いっぱい。2010/03/23(火) 00:30:42
get.plの使い方教えろ
プログラマーの知識ないから使えん
俺もファイル落としたい
0592名無しさん＠お腹いっぱい。2010/03/23(火) 00:43:32
付属のreadmi.txt嫁
0593名無しさん＠お腹いっぱい。2010/03/23(火) 00:47:06
>>592
ﾀﾞﾒだあれ
意味わからん
0594名無しさん＠お腹いっぱい。2010/03/23(火) 01:01:29
一回だけ教えてやる
ブラウザでまず個別ギャラリーのページに移動
ブラウザのアドレス欄をコピー
コマンドプロンプトかターミナルで
perl -u "hentaiget "http://g.e-hentai.org/g/420624/2c12345d24dc/" -s
を実行したら、hoge234.list なんてファイルが出来る。
もう一度コマンドプロンプトから、
perl -l "hoge234.list " を実行。
それなりに時間掛かるので覚悟してくれ。
ActivePerl 5.10.1はインストールしてるんだよな。それともLinuxか？
じゃなかったらそれを先にやっておくべし。

この説明で分からないなら、素養が無いのでおきらめてくれ。
0595名無しさん＠お腹いっぱい。2010/03/23(火) 01:10:02
誤 perl -l "hoge234.list " を実行。
正 perl hentaiget -l "hoge234.list " を実行。
うっかりミスだゆるされよ
0596名無しさん＠お腹いっぱい。2010/03/23(火) 01:12:56
>>594
誤 perl -u "hentaiget "http://g.e-hentai.org/g/420624/2c12345d24dc/" -s
正 perl "hentaiget -u "http://g.e-hentai.org/g/420624/2c12345d24dc/" -s
すまん、またポカやってた。
これでオＫ？
0597名無しさん＠お腹いっぱい。2010/03/23(火) 01:13:29
俺いつも　-s　つけないで落として、弾かれたら次からは
先ほど作成したリストを元に、 -u を -s に変えてやってるけど
最初に -u -s にしておくと結果って違うのかい？
0598名無しさん＠お腹いっぱい。2010/03/23(火) 01:17:51
hentaiget -u "hogehogehoe" -s
は、リストファイルを作成したらストップする。
hentaiget -l "hogehogehoe"
で、画像の取り出し option -s をこれにつけても意味がない。
0599名無しさん＠お腹いっぱい。2010/03/23(火) 01:19:58
わざわざ処理を訳でルのは、,list に適当な分かりやすい名前を付ける為。
0600名無しさん＠お腹いっぱい。2010/03/23(火) 01:20:18
じゃやっぱ最初に-sつける意味なくね？
0601名無しさん＠お腹いっぱい。2010/03/23(火) 01:24:42
それ言っちゃうと、人それぞれの好みとしか言い様がない。
最初からつかるか、すべての処理が終わってからフォルダー名を
リネームするかの違いだから。好きにして
0602名無しさん＠お腹いっぱい。2010/03/23(火) 01:25:46
なんか誤字脱字だらけだ。疲れてんのカナ
0603名無しさん＠お腹いっぱい。2010/03/23(火) 03:06:21
おい>>596コピペしてコマンドプロントに貼り付けてエンター押しても
ダウンロードはじまらねーぞ
嘘つくんじゃねーよ
内部コマンドまたは外部コマンド、操作可能なプログラム
またはバッチ ファイルとして認識されていませんって
拒否されんじゃねーか
0604名無しさん＠お腹いっぱい。2010/03/23(火) 03:09:12
マジわけわかんねーからツールで出してくれ
0605名無しさん＠お腹いっぱい。2010/03/23(火) 07:47:31
>>603
さっさとperlインストールしやがれこの野郎
話はそれからだ
0606名無しさん＠お腹いっぱい。2010/03/23(火) 07:55:25
>>603
コテハンつけてくれ。
0607名無しさん＠お腹いっぱい。2010/03/23(火) 07:55:59
厨房が自分の無能さを棚に上げて文句言ってらぁ
get.plがある場所をカレントにすることも知らねぇんじゃないか？
コマンドプロンプトの基礎知識つけてreadme嫁
プログラマーの知識（笑）なんざいらねぇよ

ttp://www5f.biglobe.ne.jp/~ayum/command/command.html

get.pl使えるようになったら、さっさと消えてくれ
0608名無しさん＠お腹いっぱい。2010/03/23(火) 09:50:26
少なくとも unix の知識自体がないっぽいから
板違いってことでいいんじゃなかろうか…
0609名無しさん＠お腹いっぱい。2010/03/23(火) 10:50:30
全く知識が無い俺ですら、perlインスコして適当コマンド入力でファイルにありつけてるというのに
>>603の無能っぷりと釣りっぷりと来たら（ｒｙ
0610名無しさん＠お腹いっぱい。2010/03/23(火) 11:16:52
コマンドプロンプトだのバッチファイルだの
一瞬ここが何板だか確認してしまったよ
0611名無しさん＠お腹いっぱい。2010/03/23(火) 11:29:07
エロに国境(板違い)なしと言う事か
検索で飛んでくる奴が多いのかな？
0612名無しさん＠お腹いっぱい。2010/03/23(火) 11:58:22
普通の画像だとDLできるが横長の画像がくると
Not found image address. Check dummy.html file.
と出て止まっちまう・・・・
0613名無しさん＠お腹いっぱい。2010/03/23(火) 12:05:13
>>612
情報は、具体的に出した方がいいよ
どのページの何番目の画像とか
検証出来ないからね
0614名無しさん＠お腹いっぱい。2010/03/23(火) 15:16:43
get.plってどこにlistができるのかな？　カレント？
なんか説明みたいなのが表示されてlistが見あたらないんだけど
0615名無しさん＠お腹いっぱい。2010/03/23(火) 15:30:40
>>614
listファイルはカレントにできるよ


>>612ではないんだけど、
http://g.e-hentai.org/g/207441/ad8546db23/
の八枚目とかが
Not found image address. Check dummy.html file.
になっちゃうな…
0616名無しさん＠お腹いっぱい。2010/03/23(火) 16:48:36
カレントって何？perlってどこでDLできるの？
0617名無しさん＠お腹いっぱい。2010/03/23(火) 17:01:52
>>616
http://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AC%E3%83%B3%E3%83%88%E3%83%87%E3%82%A3%E3%83%AC%E3%82%AF%E3%83%88%E3%83%AA
http://www.perl.org/
06184802010/03/23(火) 17:05:02
>>615
ありがとうございます確認しました。
出来るだけ早く直します。
06194802010/03/23(火) 17:47:16
http://www1.axfc.net/uploader/Sc/so/95533
改定バージョンですが、直ったかどうかまだ未確認です。
一応手元では、ダウン出来ているようです。

原因は二重チェックでアドレス確認に嵌まりました。
よけいな事しなけりゃよかった

>>587さんのファイル衝突回避を取入れました。
06204802010/03/23(火) 17:48:14
ダウンロードキーワードは、例のですのでよしなに
0621名無しさん＠お腹いっぱい。2010/03/23(火) 18:10:50
>>473-479
>>479 >>462のどこを>>473-474にするのかが分かんねーよ
■ このスレッドは過去ログ倉庫に格納されています