トップページ⇒unix
1001コメント292KB

連番のＨ画像/動画を一気にダウンロードする2

■ このスレッドは過去ログ倉庫に格納されています
0001前スレ12005/12/26(月) 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0472名無しさん＠お腹いっぱい。2010/03/14(日) 22:45:56
でもまぁ光にしても８スレッドくらいで同時にＤＬしようとすると全体が重くなって
細い串が逝っちゃうから微妙なんだよね（複数ＰＣで分けても回線が１本ならいっしょ）。
大学みたいに大量にＩＰ持ってればええんだけど。
一番良いのはe-henの有料ユーザー？になることだけど。串とかいらなそうだし。それ以前にzipで落とせるんだっけ？
0473名無しさん＠お腹いっぱい。2010/03/14(日) 23:12:25
>461
最初のページだけ & std だけじゃが、こんなんでどうぜよ

grep /img.php jodie.htm|egrep -o '[0-9]+@[^"]+'|sed 's/@id/_jodie/;s/$/lo.jpg/;s/@iv/.imagevenue.com/'|awk '{print "http://img"$0}'

おらの趣味で jodie を例にしちょるけんど
(最後の awk は sed の範囲でどうにかなるんだよねきっと…)
0474名無しさん＠お腹いっぱい。2010/03/14(日) 23:19:14
awk やっぱりいらんかったぜよ

grep /img.php jodie-4.htm|egrep -o '[0-9]+@[^"]+'|sed 's/@id/_jodie/;s/$/lo.jpg/;s/@iv/.imagevenue.com/;s_^_http://img_'

sed の @id 置換部分だけ女優名にすればええがじゃ
あとは script 化すればできるろう
0475名無しさん＠お腹いっぱい。2010/03/14(日) 23:33:42
>>473 お、ども。なんか良さげなんですが、
いきなり grep から始まってて、
それをどう使えばいいか解らんです。
もうちょっと解説お願いします。
0476名無しさん＠お腹いっぱい。2010/03/14(日) 23:43:52
>>475
せっかく>>462 が、shスクリプト上げてくれてるのに無視かい。
0477名無しさん＠お腹いっぱい。2010/03/15(月) 00:11:09
>>476 ダメす。>>473-474 と >462 がどう関係するのかぜんぜんわかんねっす。orz
0478名無しさん＠お腹いっぱい。2010/03/15(月) 00:19:06
>>475は検索して直接飛んできたからここがUNIX版だって気付いてないと思うが。
ユニックスとかリナックスって聞いたことはあるでしょう。
ここはそういった種類のOSを使ってる人が多いんですよ。
マイクロソフトのウィンドウズを使ってるなら次は"Cygwin"で検索してみると良いよ。
0479名無しさん＠お腹いっぱい。2010/03/15(月) 00:55:04
grep知ってるみたいだし、
その辺の事情が分かってないわけではないんじゃない？
>>462のどこを>>473-474にするのかが分かんねーよってことだろ
とエスパーしてみる
0480名無しさん＠お腹いっぱい。2010/03/15(月) 01:16:09
>>157さんの許可が有れば、俺様適当パッチ get.pl プロクシ対応版を
あｐする用意が、ありますがどうでしょう？
需要有りますか？
許可と需要が有れば、あｐする予定です。
0481名無しさん＠お腹いっぱい。2010/03/15(月) 02:54:02
>>478 いやUNIX板だということは承知してますがスキルが超低いのです。
>>473-474 のコードを >>462 のどこに挿入すればいいのか分からんのです。
っていうか >>462 が私の質問へのレスとは思ってなかったです。
0482名無しさん＠お腹いっぱい。2010/03/15(月) 03:09:09
ついにhentai潰れたのか
0483名無しさん＠お腹いっぱい。2010/03/15(月) 03:15:37
と思ったけどキャッシュ見たら今日の昼間で更新されてるな
弾かれたの？
0484名無しさん＠お腹いっぱい。2010/03/15(月) 13:26:57
>462
なんか見てみたら結構参考になるじゃん
thx
04851572010/03/15(月) 14:13:35
>>480
get.pl プロクシ対応版、是非ともUPお願いします。
04864802010/03/15(月) 14:30:17
>>485
許可ありがとうございます。
http://www1.axfc.net/uploader/Sc/so/92665

キーワードは、hentaiget

ご質問などありましたらこの板で
0487名無しさん＠お腹いっぱい。2010/03/15(月) 14:52:23
そして限られた公開プロキシの壮絶な奪い合いが始まるのであった...
0488名無しさん＠お腹いっぱい。2010/03/15(月) 15:47:26
>>487
ソースちゃんと見てないけど、森しかアクセスしてないかも
0489名無しさん＠お腹いっぱい。2010/03/16(火) 01:39:07
e-hentaiがPSPのブラウザじゃ見れないけどなんで？
0490名無しさん＠お腹いっぱい。2010/03/16(火) 01:53:11
windowsの人はこれよさそうだ
ttp://yamadasox.hp.infoseek.co.jp/
CCB Proxy採集＆検査ツール
0491名無しさん＠お腹いっぱい。2010/03/16(火) 06:52:47
PS3でも見れない・・パソコンでは問題ないんだが・・
0492名無しさん＠お腹いっぱい。2010/03/16(火) 12:02:25
proxy.txtは作れたが、どうにも-ｐからの、txtパスが上手く通せねぇ
って、通せたかもしれないけど落とせないなぁ
できたtxtがすっからかんになったから読み込み専用にしたが無意味か
04934802010/03/16(火) 12:59:54
>>492
proxy.txtを読込み専用しちゃだめ。
接続出来たプロクシは、残すようにしてあるからね。
接続出来なかったプロクシは削除されるので
今後使えるかもしれないプロクシが残って行く。
proxy.txtの一行目を、1に戻すとそのプロクシを使えるよ。

サンプルスクリプトでは、プロキシの杜だけからダウンするけど
他の公開リストのサーバーからも、ダウン出来る様に拡張してみて
0494名無しさん＠お腹いっぱい。2010/03/16(火) 15:14:53
そかそか、サンクス
拡張は知識的に無理でお察しな上に
読み込み専用がどうの以前に何がしらのエラーで画像落とせてないから
もちっとググったりして煮詰めてみるよ
0495名無しさん＠お腹いっぱい。2010/03/16(火) 18:33:23
エラー？
パス指定できてないだけでは？
0496名無しさん＠お腹いっぱい。2010/03/16(火) 23:04:23
-lで続行しようとしても、いつまでたってもget[0]から先
400が返ってくる。
0497名無しさん＠お腹いっぱい。2010/03/16(火) 23:33:18
>>471だがこれで3日連続でサービスタイムがやってきたよ。
今日のは150MB,360枚だった。向こうで何が起ってるんだ？
0498名無しさん＠お腹いっぱい。2010/03/16(火) 23:52:59
チラシの裏にでも書いとけ
0499名無しさん＠お腹いっぱい。2010/03/17(水) 00:28:42
サービスタイムてｗｗ
05004802010/03/17(水) 00:35:48
http://www1.axfc.net/uploader/Sc/so/93241

リストを作成するデレクトリィによっては、うまく動作しない場合が
ありました。
リストが空っぽの状態になるバグ。このバグを直す為に入れたコード
が、更にバグを産んでいた。わはは、すまん
キーワードは、hentaiget

画像取得で、エラーがおきたらリトライする回数を、ウザイから
３回に変更しました。
05014802010/03/17(水) 12:37:58
readme2.txtに書き忘れていた事。
オリジナルget.plと .litsファイルの互換性はありません。
hentaiget の方は、ナンバリング情報が入っていますので
.listの相互活用が出来なくなっています。

書き忘れていてごめんなさい。
0502名無しさん＠お腹いっぱい。2010/03/17(水) 15:00:39
サービスタイム情報は明日の朝刊のチラ紙をご覧ください！
05034802010/03/18(木) 00:02:43
たびたびすみません。
>>501の注意書きを追加した物を上げときます。
心配性で小心者なんで。
誤字脱字もついでに修正。
内容は、変わっていませんので以前の、物をダウンされた方は
とくにダウンは必要有りません。

ほんと、すみません

http://www1.axfc.net/uploader/Sc/so/93619

キーワードは変わっていませんのでよしなに。
0504名無しさん＠お腹いっぱい。2010/03/18(木) 01:22:39
乙ですよ
0505名無しさん＠お腹いっぱい。2010/03/18(木) 01:30:35
なんだ
他にもpspで見れなくなった人がいたんだ・・・
0506名無しさん＠お腹いっぱい。2010/03/18(木) 02:40:41
今日は、プロクシハズレばっかり引いていた
*nix系列のOSで動くプロクシコレクターないかしら
探し方が悪いのか、見付けられない
やはりみんなお手製で、やってるの？ >*nixのひと
0507名無しさん＠お腹いっぱい。2010/03/18(木) 15:15:24
戦いはもう始まっているからな。
しかしまぁ、みんな技術はあるけど、
ここまで卑屈にダウンロード特化のツールにしないとならんのが悲しいというか紳士だなｗ
この件でアップロードしたりサーバーソケットで共有ツールにしたらお縄だからな
ＩＰ消耗戦の問題は解決するけど
0508名無しさん＠お腹いっぱい。2010/03/18(木) 17:24:34
ipV6とか使えヘンの？
0509名無しさん＠お腹いっぱい。2010/03/18(木) 18:06:20
IPV6とかそういうめどいことはwgetやperlのライブラリに丸投げ
暇ならソケット云々からやり直しだ
0510名無しさん＠お腹いっぱい。2010/03/18(木) 18:06:30
君が対応すれば万事解決！
0511名無しさん＠お腹いっぱい。2010/03/19(金) 13:22:00
>>503
斧がどの板もInternal Server Errorなんだけど、他の人は大丈夫なの?
0512名無しさん＠お腹いっぱい。2010/03/19(金) 13:24:06
斧確認してみた
500が出る
終了か・メンテか
0513名無しさん＠お腹いっぱい。2010/03/20(土) 00:07:22
そう言えば、ここあったなら解決できるかなぁって思いました。

http://www.sexydesktop.co.uk/

↑ここの何処でもいいんですが、なんとかできないでしょうか？
wallpaporz入れたら、壁紙いっぱい欲しくなりました。
0514名無しさん＠お腹いっぱい。2010/03/20(土) 00:11:40
nihongoでおk
0515名無しさん＠お腹いっぱい。2010/03/20(土) 00:19:39
アドレスを配列で分割してもって、スクリプトで構築してんのか
e-henがこの仕様になったら即日対応するが、パツ金のお姉さんじゃ萎えるわぁ
0516名無しさん＠お腹いっぱい。2010/03/20(土) 00:32:57
>>122>>457>>513と3人めか
0517名無しさん＠お腹いっぱい。2010/03/20(土) 03:50:16
>>516
すいません。既出でしたね・・・
やっぱここでも無理か。ちょっとスクリプト書いてみます。どっから手をつけようか
断念したんだけど・・・・。今時ならcurlかなぁ。
0518名無しさん＠お腹いっぱい。2010/03/20(土) 09:52:51
>>517
>>462 だよ。
>>462 だよ。大事な事な(ry
0519名無しさん＠お腹いっぱい。2010/03/20(土) 21:46:54
スレ違いかもしれませんがe-hentaiのcreditsって何をしたら貯まるものなのでしょうか？
観覧してしていないのにいつのまにか貯まっていてなんでだろうと疑問に思ったのですが・・・
0520名無しさん＠お腹いっぱい。2010/03/21(日) 00:01:01
観覧だけでも貯まるらしい
あとたまに上にモンスターが出現して倒すと貯まる？のかも
倒したことないし英語苦手だからよくわからんけど
0521名無しさん＠お腹いっぱい。2010/03/21(日) 00:58:09
e-hentaiって見てるとすぐ509になるんだけど
これ回避する方法ってない？初心者な質問で申し訳ないけど
0522名無しさん＠お腹いっぱい。2010/03/21(日) 01:30:51
ない
ないから串がどうのこうの上で言ってるわけ
0523名無しさん＠お腹いっぱい。2010/03/21(日) 01:31:13
>>521だけど自己解決した
登録してログインできるようになると
規制回避できるんだな
0524名無しさん＠お腹いっぱい。2010/03/21(日) 02:08:29
完全回避ではないぞ
0525名無しさん＠お腹いっぱい。2010/03/21(日) 11:59:44
傾向としてimage.phpではなくUnix秒と短いハッシュを指定する
サーバが多い場合は帯域制限に引っかかりにくいな。
そればっか続くと何処までも行ける気がする。
プロクシの良し悪し言ってる中には実はこれだったってのもあるんじゃね？
0526名無しさん＠お腹いっぱい。2010/03/21(日) 12:49:47
>>525
すんません
それ以前に、画像も串使わないと落とせないと勘違いしてました
ソースページだけ串で落として画像の直リン貰えば終了なのね

へこい串でもソースくらいなら落とせるから、画像は光でガンガン落とせてます
外人ポルノも落とせそうなくらい俺のクローラーが暇してます
1ipで制限にかかりにくくなったから少ない串で大量に落とせるとはいえ
依然として串の奪い合いなのは変わらんからツールは上げれないけど
0527名無しさん＠お腹いっぱい。2010/03/21(日) 19:46:52
と、言う事はe-hentaiは、リンクの有るページだけが
帯域制限の対象になっていて、画像自体は制限の対象
に、なってないって事？
0528名無しさん＠お腹いっぱい。2010/03/21(日) 19:50:07
E-Hentai Galleries は一気に落とすの無理なのか
0529名無しさん＠お腹いっぱい。2010/03/21(日) 19:56:22
>>527
画像鯖自体も時々509.gifよこすけど、ほんと時々。ウェイトで回避できる。
基本規制はソース鯖だけ。
ＵＲＬリストとかを共有できたら串問題も突破できるんだけど。
アップロードや鯖ソケットはやばいからなぁ。
そもそも時限式のアドレスっぽいからリストの鮮度維持せにゃならんし。
0530名無しさん＠お腹いっぱい。2010/03/21(日) 20:00:40
>>527
どちらにせよ置かれてる状況に変わりはないんだがな。
0531名無しさん＠お腹いっぱい。2010/03/21(日) 20:03:47
>>529
ちなみにimage.phpに渡るのはUnix秒を3600で割った値な。
有効期限は1時間内
0532名無しさん＠お腹いっぱい。2010/03/21(日) 20:19:11
>>531
こんなことしょっちゅうやっているお方なのか、すさまじい直感っすね
あのハッシュについて特に気にもとめてなかったです
なるほどソース取り直せばウェイト要らなかったんですね
ありがとうございます
0533名無しさん＠お腹いっぱい。2010/03/21(日) 20:23:17
>>532
おれはそんなこと言ってない。勝手に解釈するな。
それにしてもあんた数字に対する直観力ないな。
0534名無しさん＠お腹いっぱい。2010/03/21(日) 20:41:23
>>529,530
う〜ん、やっぱり509も返す事あるのか。
画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど
時間制限もあるから無理そうだし。
できるだけ、生ipは温存したいしなあ。
めんどからやっぱプロクシ両方とも通すかな。
0535名無しさん＠お腹いっぱい。2010/03/21(日) 21:04:35
>>520
ありがとうございます、モンスター出てるのに全然気が付かなかった・・・
マジックあるだけ使って、後はアタックしたら勝てました
レジェンド？とかいうのは効果は何なんだろ
0536名無しさん＠お腹いっぱい。2010/03/21(日) 21:11:03
一度だけ次に引くカードを交換することができる
0537名無しさん＠お腹いっぱい。2010/03/21(日) 22:11:00
倒したけど2creditsだけだった。先は長いな。
0538名無しさん＠お腹いっぱい。2010/03/21(日) 22:42:05
こんなに奥が深いサイトだったとは
E-Hentai攻略スレッドやまとめWikiが必要なようだな
0539名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:07
> 画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど

俺まさにそれでやってるんだけど、
経験的に言って画像URLは24時間程度は有効っぽいけど？
0540名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:51
言いだしっぺの法則
05415392010/03/21(日) 23:07:01
> 経験的に言って画像URLは24時間程度は有効っぽいけど？

鯖の生成する画像URLは確かに結構な頻度(1時間毎?)で変わるんだけど、
変わってもすぐさま前のURLが無効とはならない、という意味。
0542名無しさん＠お腹いっぱい。2010/03/21(日) 23:11:00
>>541
串通してる？画像のURLはクライアントのIPには左右されないの？
05435392010/03/21(日) 23:20:41
>>542
画像URLをゲットする時はIPアドレス切り替えていくけど、
画像本体取得時は生IP1本です。

> 画像のURLはクライアントのIPには左右されないの？

その後IP切り替えても問題なく取得出来るので、アドレスには依存しないか、
仮にするにしてもある程度の範囲は受け入れているんだと思う。
0544名無しさん＠お腹いっぱい。2010/03/21(日) 23:23:22
>>543
早い回答ありがとう。参考になったよ。
0545名無しさん＠お腹いっぱい。2010/03/21(日) 23:29:35
autopagerizeで全部表示したあとdownthemallで結構早くダウンロードできるな
0546名無しさん＠お腹いっぱい。2010/03/21(日) 23:47:47
数字の方の画像鯖時々逝ってるのあるよね
あの手のアドレスの再処理どうしてます？
0547名無しさん＠お腹いっぱい。2010/03/22(月) 00:16:01
?nl=1
0548名無しさん＠お腹いっぱい。2010/03/22(月) 00:39:18
509になってからの待ち時間が長い…
大体何分で再び見られるようになるんだ？
0549名無しさん＠お腹いっぱい。2010/03/22(月) 00:51:03
きもちよーくe-hen回収してたんだけど
いきなり画像が矢印ばかりに
0550名無しさん＠お腹いっぱい。2010/03/22(月) 00:58:16
数字鯖 or hentaiverseで検索してたんだな、ボディからの行数で特定汁
05514802010/03/22(月) 01:03:17
どうやら、また構成が変わったかな？
get.plのうｐをお待ちになっている方は、近日中にアップデートします。
今日中には、アップデートは無理かも知れません。用事が入っているので。
0552名無しさん＠お腹いっぱい。2010/03/22(月) 01:47:30
>>545
autopagerizeを導入した時点で弾かれるんだが…
0553名無しさん＠お腹いっぱい。2010/03/22(月) 04:17:01
>>549
俺だけじゃなかったか……
0554名無しさん＠お腹いっぱい。2010/03/22(月) 06:48:48
確かに丁度0時から矢印ばかりだぁな
数枚だけキチンと取れてるのもあるが
0555名無しさん＠お腹いっぱい。2010/03/22(月) 07:16:28
あー、なるほどね。
get.plではないが >>352 の後divの階層を見るようにしている自分に影響は出ないよ。
緊急の対処療法としては b.tlcとかw.ffsとかの単語を含むURLを排除することかな。
あるいはUnix時刻の話がタイムリーだが、サーバレスポンスの Date から時間値を逆算して
それの値が含まれる画像URLを見るとかね。(これ以外と堅いな)
0556名無しさん＠お腹いっぱい。2010/03/22(月) 07:38:10
</div><a href="

で探せばいいと思う。直前が閉じDIVになっているやつが本命。
オレ製ツールはこれでずっと問題なく動いてる。
05574802010/03/22(月) 08:04:21
get.pl取り急ぎ暫定バージョンです。
http://www1.axfc.net/uploader/Sc/so/95087

キーワードは、hentaiget と変らずです。
0558名無しさん＠お腹いっぱい。2010/03/22(月) 09:12:25
もしかしてツールの類を見つけて連絡するとクレジットもらえる...なんてシステムは無いだろな。
0559名無しさん＠お腹いっぱい。2010/03/22(月) 09:28:33
そんなの、いやいやいや〜〜〜。
誰もツールアップしなくなるだけだろ。
0560名無しさん＠お腹いっぱい。2010/03/22(月) 10:21:55
e-hentaiはどうやって作品検索すればよいのか教えて下さい
Searchに打ち込んでも反映されないよ
0561名無しさん＠お腹いっぱい。2010/03/22(月) 10:31:57
Search?
0562名無しさん＠お腹いっぱい。2010/03/22(月) 10:43:10
サーチキーワード(タグ)は、基本的に英語です
タイトルに日本語が含まれている場合のみ、検索対象に日本語が
使えます
そして、スレ違い
0563名無しさん＠お腹いっぱい。2010/03/22(月) 12:35:37
scriptだけからサーバの話に飛んでいる……
これがエロの力か……
0564名無しさん＠お腹いっぱい。2010/03/22(月) 14:34:12
知識がない俺にはわけわかめだぜ……
それだけにget.plとそのプロキシ版の方には感謝
0565名無しさん＠お腹いっぱい。2010/03/22(月) 14:40:07
アップしたり報告したりしてる人はいいのだが
俺はツール自作してて弾かれなんて無縁だ、でもうｐはしないぜﾋｬｯﾊｰが常駐してる意味がわからない
0566名無しさん＠お腹いっぱい。2010/03/22(月) 14:54:50
彼がワカメのまま非実在青少年単純所持者分別君に迷い込みませんように
0567名無しさん＠お腹いっぱい。2010/03/22(月) 16:24:59
get.plなんてプログラマーどもにしか使えない
オナニーじゃなくて誰にでも簡単に扱えるツールを作れよカスオナニー猿ども
0568名無しさん＠お腹いっぱい。2010/03/22(月) 16:55:19
>>567
知ったことかカスｗ
0569名無しさん＠お腹いっぱい。2010/03/22(月) 16:57:47
>>567
あんたならビルゲイツに勝てる
0570名無しさん＠お腹いっぱい。2010/03/22(月) 16:58:04
get.plを使っているわけではないけどなんとなく

# afk|tlc|lol|qqm を無視
sub scrapeimgurl(@) {
# make each image's url from a thumbnail page.
my ($ofn, $url) = @_ ;
print "url : $url\n";

use HTML::TreeBuilder;
my $tree = HTML::TreeBuilder->new_from_file($ofn);
$tree->eof();
foreach my $img ($tree->find("img")) {
next if($img->attr('src') =~ /(afk|tlc|lol|qqm)$/);

(my $returlimg = $img_tag->attr('src')) =~ s/&/&/g;
$tree->delete;
return $returlimg;
}
$tree->delete;
return "";
}

>>567
get.pl程度も使えない猿が何しにココ来てるの？
0571名無しさん＠お腹いっぱい。2010/03/22(月) 16:58:46
# divの階層
sub scrapeimgurl(@) {
# make each image's url from a thumbnail page.
my ($ofn, , $url) = @_ ;
print "url : $url\n";

use HTML::TreeBuilder;
my $tree = HTML::TreeBuilder->new_from_file($ofn);
$tree->eof();

foreach $img_tag ($tree->find("img")) {
my @div_tag = $img_tag->look_up('_tag' => 'div');
if(scalar(@div_tag) == 1){
(my $returlimg = $img_tag->attr('src')) =~ s/&/&/g;
$tree->delete;
return $returlimg;
}
}
$tree->delete;
return "";
}
■ このスレッドは過去ログ倉庫に格納されています