トップページ⇒unix
1001コメント292KB

連番のＨ画像/動画を一気にダウンロードする2

■ このスレッドは過去ログ倉庫に格納されています
0001前スレ12005/12/26(月) 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0488名無しさん＠お腹いっぱい。2010/03/15(月) 15:47:26
>>487
ソースちゃんと見てないけど、森しかアクセスしてないかも
0489名無しさん＠お腹いっぱい。2010/03/16(火) 01:39:07
e-hentaiがPSPのブラウザじゃ見れないけどなんで？
0490名無しさん＠お腹いっぱい。2010/03/16(火) 01:53:11
windowsの人はこれよさそうだ
ttp://yamadasox.hp.infoseek.co.jp/
CCB Proxy採集＆検査ツール
0491名無しさん＠お腹いっぱい。2010/03/16(火) 06:52:47
PS3でも見れない・・パソコンでは問題ないんだが・・
0492名無しさん＠お腹いっぱい。2010/03/16(火) 12:02:25
proxy.txtは作れたが、どうにも-ｐからの、txtパスが上手く通せねぇ
って、通せたかもしれないけど落とせないなぁ
できたtxtがすっからかんになったから読み込み専用にしたが無意味か
04934802010/03/16(火) 12:59:54
>>492
proxy.txtを読込み専用しちゃだめ。
接続出来たプロクシは、残すようにしてあるからね。
接続出来なかったプロクシは削除されるので
今後使えるかもしれないプロクシが残って行く。
proxy.txtの一行目を、1に戻すとそのプロクシを使えるよ。

サンプルスクリプトでは、プロキシの杜だけからダウンするけど
他の公開リストのサーバーからも、ダウン出来る様に拡張してみて
0494名無しさん＠お腹いっぱい。2010/03/16(火) 15:14:53
そかそか、サンクス
拡張は知識的に無理でお察しな上に
読み込み専用がどうの以前に何がしらのエラーで画像落とせてないから
もちっとググったりして煮詰めてみるよ
0495名無しさん＠お腹いっぱい。2010/03/16(火) 18:33:23
エラー？
パス指定できてないだけでは？
0496名無しさん＠お腹いっぱい。2010/03/16(火) 23:04:23
-lで続行しようとしても、いつまでたってもget[0]から先
400が返ってくる。
0497名無しさん＠お腹いっぱい。2010/03/16(火) 23:33:18
>>471だがこれで3日連続でサービスタイムがやってきたよ。
今日のは150MB,360枚だった。向こうで何が起ってるんだ？
0498名無しさん＠お腹いっぱい。2010/03/16(火) 23:52:59
チラシの裏にでも書いとけ
0499名無しさん＠お腹いっぱい。2010/03/17(水) 00:28:42
サービスタイムてｗｗ
05004802010/03/17(水) 00:35:48
http://www1.axfc.net/uploader/Sc/so/93241

リストを作成するデレクトリィによっては、うまく動作しない場合が
ありました。
リストが空っぽの状態になるバグ。このバグを直す為に入れたコード
が、更にバグを産んでいた。わはは、すまん
キーワードは、hentaiget

画像取得で、エラーがおきたらリトライする回数を、ウザイから
３回に変更しました。
05014802010/03/17(水) 12:37:58
readme2.txtに書き忘れていた事。
オリジナルget.plと .litsファイルの互換性はありません。
hentaiget の方は、ナンバリング情報が入っていますので
.listの相互活用が出来なくなっています。

書き忘れていてごめんなさい。
0502名無しさん＠お腹いっぱい。2010/03/17(水) 15:00:39
サービスタイム情報は明日の朝刊のチラ紙をご覧ください！
05034802010/03/18(木) 00:02:43
たびたびすみません。
>>501の注意書きを追加した物を上げときます。
心配性で小心者なんで。
誤字脱字もついでに修正。
内容は、変わっていませんので以前の、物をダウンされた方は
とくにダウンは必要有りません。

ほんと、すみません

http://www1.axfc.net/uploader/Sc/so/93619

キーワードは変わっていませんのでよしなに。
0504名無しさん＠お腹いっぱい。2010/03/18(木) 01:22:39
乙ですよ
0505名無しさん＠お腹いっぱい。2010/03/18(木) 01:30:35
なんだ
他にもpspで見れなくなった人がいたんだ・・・
0506名無しさん＠お腹いっぱい。2010/03/18(木) 02:40:41
今日は、プロクシハズレばっかり引いていた
*nix系列のOSで動くプロクシコレクターないかしら
探し方が悪いのか、見付けられない
やはりみんなお手製で、やってるの？ >*nixのひと
0507名無しさん＠お腹いっぱい。2010/03/18(木) 15:15:24
戦いはもう始まっているからな。
しかしまぁ、みんな技術はあるけど、
ここまで卑屈にダウンロード特化のツールにしないとならんのが悲しいというか紳士だなｗ
この件でアップロードしたりサーバーソケットで共有ツールにしたらお縄だからな
ＩＰ消耗戦の問題は解決するけど
0508名無しさん＠お腹いっぱい。2010/03/18(木) 17:24:34
ipV6とか使えヘンの？
0509名無しさん＠お腹いっぱい。2010/03/18(木) 18:06:20
IPV6とかそういうめどいことはwgetやperlのライブラリに丸投げ
暇ならソケット云々からやり直しだ
0510名無しさん＠お腹いっぱい。2010/03/18(木) 18:06:30
君が対応すれば万事解決！
0511名無しさん＠お腹いっぱい。2010/03/19(金) 13:22:00
>>503
斧がどの板もInternal Server Errorなんだけど、他の人は大丈夫なの?
0512名無しさん＠お腹いっぱい。2010/03/19(金) 13:24:06
斧確認してみた
500が出る
終了か・メンテか
0513名無しさん＠お腹いっぱい。2010/03/20(土) 00:07:22
そう言えば、ここあったなら解決できるかなぁって思いました。

http://www.sexydesktop.co.uk/

↑ここの何処でもいいんですが、なんとかできないでしょうか？
wallpaporz入れたら、壁紙いっぱい欲しくなりました。
0514名無しさん＠お腹いっぱい。2010/03/20(土) 00:11:40
nihongoでおk
0515名無しさん＠お腹いっぱい。2010/03/20(土) 00:19:39
アドレスを配列で分割してもって、スクリプトで構築してんのか
e-henがこの仕様になったら即日対応するが、パツ金のお姉さんじゃ萎えるわぁ
0516名無しさん＠お腹いっぱい。2010/03/20(土) 00:32:57
>>122>>457>>513と3人めか
0517名無しさん＠お腹いっぱい。2010/03/20(土) 03:50:16
>>516
すいません。既出でしたね・・・
やっぱここでも無理か。ちょっとスクリプト書いてみます。どっから手をつけようか
断念したんだけど・・・・。今時ならcurlかなぁ。
0518名無しさん＠お腹いっぱい。2010/03/20(土) 09:52:51
>>517
>>462 だよ。
>>462 だよ。大事な事な(ry
0519名無しさん＠お腹いっぱい。2010/03/20(土) 21:46:54
スレ違いかもしれませんがe-hentaiのcreditsって何をしたら貯まるものなのでしょうか？
観覧してしていないのにいつのまにか貯まっていてなんでだろうと疑問に思ったのですが・・・
0520名無しさん＠お腹いっぱい。2010/03/21(日) 00:01:01
観覧だけでも貯まるらしい
あとたまに上にモンスターが出現して倒すと貯まる？のかも
倒したことないし英語苦手だからよくわからんけど
0521名無しさん＠お腹いっぱい。2010/03/21(日) 00:58:09
e-hentaiって見てるとすぐ509になるんだけど
これ回避する方法ってない？初心者な質問で申し訳ないけど
0522名無しさん＠お腹いっぱい。2010/03/21(日) 01:30:51
ない
ないから串がどうのこうの上で言ってるわけ
0523名無しさん＠お腹いっぱい。2010/03/21(日) 01:31:13
>>521だけど自己解決した
登録してログインできるようになると
規制回避できるんだな
0524名無しさん＠お腹いっぱい。2010/03/21(日) 02:08:29
完全回避ではないぞ
0525名無しさん＠お腹いっぱい。2010/03/21(日) 11:59:44
傾向としてimage.phpではなくUnix秒と短いハッシュを指定する
サーバが多い場合は帯域制限に引っかかりにくいな。
そればっか続くと何処までも行ける気がする。
プロクシの良し悪し言ってる中には実はこれだったってのもあるんじゃね？
0526名無しさん＠お腹いっぱい。2010/03/21(日) 12:49:47
>>525
すんません
それ以前に、画像も串使わないと落とせないと勘違いしてました
ソースページだけ串で落として画像の直リン貰えば終了なのね

へこい串でもソースくらいなら落とせるから、画像は光でガンガン落とせてます
外人ポルノも落とせそうなくらい俺のクローラーが暇してます
1ipで制限にかかりにくくなったから少ない串で大量に落とせるとはいえ
依然として串の奪い合いなのは変わらんからツールは上げれないけど
0527名無しさん＠お腹いっぱい。2010/03/21(日) 19:46:52
と、言う事はe-hentaiは、リンクの有るページだけが
帯域制限の対象になっていて、画像自体は制限の対象
に、なってないって事？
0528名無しさん＠お腹いっぱい。2010/03/21(日) 19:50:07
E-Hentai Galleries は一気に落とすの無理なのか
0529名無しさん＠お腹いっぱい。2010/03/21(日) 19:56:22
>>527
画像鯖自体も時々509.gifよこすけど、ほんと時々。ウェイトで回避できる。
基本規制はソース鯖だけ。
ＵＲＬリストとかを共有できたら串問題も突破できるんだけど。
アップロードや鯖ソケットはやばいからなぁ。
そもそも時限式のアドレスっぽいからリストの鮮度維持せにゃならんし。
0530名無しさん＠お腹いっぱい。2010/03/21(日) 20:00:40
>>527
どちらにせよ置かれてる状況に変わりはないんだがな。
0531名無しさん＠お腹いっぱい。2010/03/21(日) 20:03:47
>>529
ちなみにimage.phpに渡るのはUnix秒を3600で割った値な。
有効期限は1時間内
0532名無しさん＠お腹いっぱい。2010/03/21(日) 20:19:11
>>531
こんなことしょっちゅうやっているお方なのか、すさまじい直感っすね
あのハッシュについて特に気にもとめてなかったです
なるほどソース取り直せばウェイト要らなかったんですね
ありがとうございます
0533名無しさん＠お腹いっぱい。2010/03/21(日) 20:23:17
>>532
おれはそんなこと言ってない。勝手に解釈するな。
それにしてもあんた数字に対する直観力ないな。
0534名無しさん＠お腹いっぱい。2010/03/21(日) 20:41:23
>>529,530
う〜ん、やっぱり509も返す事あるのか。
画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど
時間制限もあるから無理そうだし。
できるだけ、生ipは温存したいしなあ。
めんどからやっぱプロクシ両方とも通すかな。
0535名無しさん＠お腹いっぱい。2010/03/21(日) 21:04:35
>>520
ありがとうございます、モンスター出てるのに全然気が付かなかった・・・
マジックあるだけ使って、後はアタックしたら勝てました
レジェンド？とかいうのは効果は何なんだろ
0536名無しさん＠お腹いっぱい。2010/03/21(日) 21:11:03
一度だけ次に引くカードを交換することができる
0537名無しさん＠お腹いっぱい。2010/03/21(日) 22:11:00
倒したけど2creditsだけだった。先は長いな。
0538名無しさん＠お腹いっぱい。2010/03/21(日) 22:42:05
こんなに奥が深いサイトだったとは
E-Hentai攻略スレッドやまとめWikiが必要なようだな
0539名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:07
> 画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど

俺まさにそれでやってるんだけど、
経験的に言って画像URLは24時間程度は有効っぽいけど？
0540名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:51
言いだしっぺの法則
05415392010/03/21(日) 23:07:01
> 経験的に言って画像URLは24時間程度は有効っぽいけど？

鯖の生成する画像URLは確かに結構な頻度(1時間毎?)で変わるんだけど、
変わってもすぐさま前のURLが無効とはならない、という意味。
0542名無しさん＠お腹いっぱい。2010/03/21(日) 23:11:00
>>541
串通してる？画像のURLはクライアントのIPには左右されないの？
05435392010/03/21(日) 23:20:41
>>542
画像URLをゲットする時はIPアドレス切り替えていくけど、
画像本体取得時は生IP1本です。

> 画像のURLはクライアントのIPには左右されないの？

その後IP切り替えても問題なく取得出来るので、アドレスには依存しないか、
仮にするにしてもある程度の範囲は受け入れているんだと思う。
0544名無しさん＠お腹いっぱい。2010/03/21(日) 23:23:22
>>543
早い回答ありがとう。参考になったよ。
0545名無しさん＠お腹いっぱい。2010/03/21(日) 23:29:35
autopagerizeで全部表示したあとdownthemallで結構早くダウンロードできるな
0546名無しさん＠お腹いっぱい。2010/03/21(日) 23:47:47
数字の方の画像鯖時々逝ってるのあるよね
あの手のアドレスの再処理どうしてます？
0547名無しさん＠お腹いっぱい。2010/03/22(月) 00:16:01
?nl=1
0548名無しさん＠お腹いっぱい。2010/03/22(月) 00:39:18
509になってからの待ち時間が長い…
大体何分で再び見られるようになるんだ？
0549名無しさん＠お腹いっぱい。2010/03/22(月) 00:51:03
きもちよーくe-hen回収してたんだけど
いきなり画像が矢印ばかりに
0550名無しさん＠お腹いっぱい。2010/03/22(月) 00:58:16
数字鯖 or hentaiverseで検索してたんだな、ボディからの行数で特定汁
05514802010/03/22(月) 01:03:17
どうやら、また構成が変わったかな？
get.plのうｐをお待ちになっている方は、近日中にアップデートします。
今日中には、アップデートは無理かも知れません。用事が入っているので。
0552名無しさん＠お腹いっぱい。2010/03/22(月) 01:47:30
>>545
autopagerizeを導入した時点で弾かれるんだが…
0553名無しさん＠お腹いっぱい。2010/03/22(月) 04:17:01
>>549
俺だけじゃなかったか……
0554名無しさん＠お腹いっぱい。2010/03/22(月) 06:48:48
確かに丁度0時から矢印ばかりだぁな
数枚だけキチンと取れてるのもあるが
0555名無しさん＠お腹いっぱい。2010/03/22(月) 07:16:28
あー、なるほどね。
get.plではないが >>352 の後divの階層を見るようにしている自分に影響は出ないよ。
緊急の対処療法としては b.tlcとかw.ffsとかの単語を含むURLを排除することかな。
あるいはUnix時刻の話がタイムリーだが、サーバレスポンスの Date から時間値を逆算して
それの値が含まれる画像URLを見るとかね。(これ以外と堅いな)
0556名無しさん＠お腹いっぱい。2010/03/22(月) 07:38:10
</div><a href="

で探せばいいと思う。直前が閉じDIVになっているやつが本命。
オレ製ツールはこれでずっと問題なく動いてる。
05574802010/03/22(月) 08:04:21
get.pl取り急ぎ暫定バージョンです。
http://www1.axfc.net/uploader/Sc/so/95087

キーワードは、hentaiget と変らずです。
0558名無しさん＠お腹いっぱい。2010/03/22(月) 09:12:25
もしかしてツールの類を見つけて連絡するとクレジットもらえる...なんてシステムは無いだろな。
0559名無しさん＠お腹いっぱい。2010/03/22(月) 09:28:33
そんなの、いやいやいや〜〜〜。
誰もツールアップしなくなるだけだろ。
0560名無しさん＠お腹いっぱい。2010/03/22(月) 10:21:55
e-hentaiはどうやって作品検索すればよいのか教えて下さい
Searchに打ち込んでも反映されないよ
0561名無しさん＠お腹いっぱい。2010/03/22(月) 10:31:57
Search?
0562名無しさん＠お腹いっぱい。2010/03/22(月) 10:43:10
サーチキーワード(タグ)は、基本的に英語です
タイトルに日本語が含まれている場合のみ、検索対象に日本語が
使えます
そして、スレ違い
0563名無しさん＠お腹いっぱい。2010/03/22(月) 12:35:37
scriptだけからサーバの話に飛んでいる……
これがエロの力か……
0564名無しさん＠お腹いっぱい。2010/03/22(月) 14:34:12
知識がない俺にはわけわかめだぜ……
それだけにget.plとそのプロキシ版の方には感謝
0565名無しさん＠お腹いっぱい。2010/03/22(月) 14:40:07
アップしたり報告したりしてる人はいいのだが
俺はツール自作してて弾かれなんて無縁だ、でもうｐはしないぜﾋｬｯﾊｰが常駐してる意味がわからない
0566名無しさん＠お腹いっぱい。2010/03/22(月) 14:54:50
彼がワカメのまま非実在青少年単純所持者分別君に迷い込みませんように
0567名無しさん＠お腹いっぱい。2010/03/22(月) 16:24:59
get.plなんてプログラマーどもにしか使えない
オナニーじゃなくて誰にでも簡単に扱えるツールを作れよカスオナニー猿ども
0568名無しさん＠お腹いっぱい。2010/03/22(月) 16:55:19
>>567
知ったことかカスｗ
0569名無しさん＠お腹いっぱい。2010/03/22(月) 16:57:47
>>567
あんたならビルゲイツに勝てる
0570名無しさん＠お腹いっぱい。2010/03/22(月) 16:58:04
get.plを使っているわけではないけどなんとなく

# afk|tlc|lol|qqm を無視
sub scrapeimgurl(@) {
# make each image's url from a thumbnail page.
my ($ofn, $url) = @_ ;
print "url : $url\n";

use HTML::TreeBuilder;
my $tree = HTML::TreeBuilder->new_from_file($ofn);
$tree->eof();
foreach my $img ($tree->find("img")) {
next if($img->attr('src') =~ /(afk|tlc|lol|qqm)$/);

(my $returlimg = $img_tag->attr('src')) =~ s/&/&/g;
$tree->delete;
return $returlimg;
}
$tree->delete;
return "";
}

>>567
get.pl程度も使えない猿が何しにココ来てるの？
0571名無しさん＠お腹いっぱい。2010/03/22(月) 16:58:46
# divの階層
sub scrapeimgurl(@) {
# make each image's url from a thumbnail page.
my ($ofn, , $url) = @_ ;
print "url : $url\n";

use HTML::TreeBuilder;
my $tree = HTML::TreeBuilder->new_from_file($ofn);
$tree->eof();

foreach $img_tag ($tree->find("img")) {
my @div_tag = $img_tag->look_up('_tag' => 'div');
if(scalar(@div_tag) == 1){
(my $returlimg = $img_tag->attr('src')) =~ s/&/&/g;
$tree->delete;
return $returlimg;
}
}
$tree->delete;
return "";
}
0572名無しさん＠お腹いっぱい。2010/03/22(月) 17:00:07
>>557
image落とせなくね？
矢印以前に一枚も
0573名無しさん＠お腹いっぱい。2010/03/22(月) 17:02:47
あ、コピペしたら/&amp;/&/が/&/&/に…
0574名無しさん＠お腹いっぱい。2010/03/22(月) 17:11:44
俺はFirefoxの拡張でやってるけど
img要素のaltとsrcを調べて拡張子が一致する場合に画像を保存するようにしてる

var alt = img.getAttribute('alt'), src = img.getAttribute('src');
if (alt.substr(-4) == src.substr(-4)) {
// ここで保存
}

みたいな感じで
0575名無しさん＠お腹いっぱい。2010/03/22(月) 17:29:30
>>574
おぉっ、それなら明日のビルゲイツ君も喜ぶんじゃないかい。
0576名無しさん＠お腹いっぱい。2010/03/22(月) 17:41:53
>>575
つか拡張子に4文字決め打ちってのはどうなんだろうか。
それに alt は別に必須オプションじゃなかろうし必ずファイル名を書くもんでもない。
実際には "xxx.j pg" のように空白が入っていた時期もある。(最近見んけど)
いずれにせよ将来の改変には要注意だね。
でもアドオンは凄く素敵だよ。
0577名無しさん＠お腹いっぱい。2010/03/22(月) 18:00:03
ツール開発しないならE-hentaiとかいうサイトぶっ潰す
0578名無しさん＠お腹いっぱい。2010/03/22(月) 18:10:59
　　　　　　　　　　　　　　　　　　　　　　 ヘ(^o^)ヘ いいぜ
　　　　　　　　　　　　　　　　　　　　　　　　　|∧ 　
　　　　　　　　　　　　　　　　　　　　　／　　/
　　　　　　　　　　　　　　　　 (^o^)／ てめえらがどうしても
　　　　　　　　　　　　　　　 ／( 　)　　　　ツール開発しないなら
　　　　　　　(^o^) 三　　／　／ ＞
　＼　　　　 (＼＼ 三
　(／o^)　　＜　＼ 三　
　( ／
　／ く 　まずはそのふざけた
　　　　　　　E-hentaiとかいうサイトぶっ潰す
0579名無しさん＠お腹いっぱい。2010/03/22(月) 18:25:48
わざわざsageて書くことか。まず親に頼め。
0580名無しさん＠お腹いっぱい。2010/03/22(月) 20:19:58
agesageの時空が乱れる
0581名無しさん＠お腹いっぱい。2010/03/22(月) 20:42:09
このスレで共有アカウント作って協力してcredits貯めるようにすればいいんじゃないの
一度zipで落としたのは何度も落とせるんだし
0582名無しさん＠お腹いっぱい。2010/03/22(月) 20:46:36
フクナガちょー嬉しーんですけどぉお〜 アハハハハハ！アハハハハハハ！
0583名無しさん＠お腹いっぱい。2010/03/22(月) 21:05:34
ttp://www.hongfire.com/forum/forumdisplay.php?f=115
これやるから向こうで遊んできなさい。
05844802010/03/22(月) 21:57:07
やっと帰っこれた。
>>572
えっ、なんか間違ったか？と思って確認してみたが、うちでは
落とせてる。
サーバー障害か経路障害でもあったかなあ？
他に落とせない人いますか？

>>570
ヒントありがとう。
でも、HTML::TreeBuilder は、標準モジュールじゃないんだ。
それ言ったら、LWP はどうなんだって話ですが、perl配布パッケージ
に付いてくる場合が多いからなんだけど。
0585名無しさん＠お腹いっぱい。2010/03/22(月) 22:25:40
>>584
標準モジュールじゃないのは知ってるけど、
自分の入れた ActivePerl 5.10.1 Build 1007 (win)には最初からあったのでつかってみた。
入ってなかったら使ってない。
div と img に絞るなら自分でパースしてもそんなもんだと思うけど。
05864802010/03/22(月) 22:36:33
>>585
なるほど、winには入っているのか。
って言うか、うちのが perl5.8.6 使ってるからかも。
0587名無しさん＠お腹いっぱい。2010/03/22(月) 22:37:59
ついでに言うと
450行: my ($p, $d, $i) = ($_[0], "dummy.html", 1) ;
は衝突回避を考えて
450行: my ($p, $d, $i) = ($_[0], "$p/dummy.html", 1) ;
の方がいいと思う。
というか、そもそもファイル出力しなくても…
■ このスレッドは過去ログ倉庫に格納されています