トップページ⇒unix
1001コメント292KB

連番のＨ画像/動画を一気にダウンロードする2

■ このスレッドは過去ログ倉庫に格納されています
0001前スレ12005/12/26(月) 02:56:22
前スレ5年間のご愛顧ありがとうございました。PGFは無事コンプしましたが、これからも皆様の日々
実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0444名無しさん＠お腹いっぱい。2010/03/13(土) 14:07:01
> って＞"Click here if the image fails loading"
> 押したら見れたああああああああ

押したらURLが(そして落ちてくるHTMLが)どう変化するかくらい観察したら?

http://pc12.2ch.net/test/read.cgi/win/1261004900/490
0445名無しさん＠お腹いっぱい。2010/03/13(土) 14:12:48
こんだけURLが長くなっているのに短縮URL使わないのが不思議
0446名無しさん＠お腹いっぱい。2010/03/13(土) 14:15:06
もともとwikiかなんかのプログラム使ってるんじゃないか？
0447名無しさん＠お腹いっぱい。2010/03/13(土) 17:50:52
>>444
今、ツンデレを目の当たりにしたこの感動!
0448名無しさん＠お腹いっぱい。2010/03/13(土) 18:34:24
>>442-443
あ・・ごめん
結局上のperlもget.plも入れたしコマンド自体の操作
設定も正しくスクリプト自体も動いてるはずなんだが
画像それ自体は落とせない状態が続いてるんだ
どろしー2入れたirvineもアレレで
>>444
頭冷やしてくる
0449名無しさん＠お腹いっぱい。2010/03/13(土) 19:01:45
すまん。get.plにトライしてごらんと言ったわけではないんだ。
0450名無しさん＠お腹いっぱい。2010/03/13(土) 19:46:46
それ以前に、会話になってなかったからな。
エラー内容を、うんちゃらとかアレレとか書かれても
エスパーじゃあるまいし。
0451名無しさん＠お腹いっぱい。2010/03/13(土) 20:07:30
はは、ごもっとも。
まがりなりにもUNIX版だがカーネルのリビルドが趣味の人ばかりではなさそうだ。
0452名無しさん＠お腹いっぱい。2010/03/13(土) 20:44:15
それより聞いてくれよ
今日は３００枚連続で落ちてきてる
サービスディかな？
0453名無しさん＠お腹いっぱい。2010/03/13(土) 21:44:44
ファイルサイズ小さかったんでね？
0454名無しさん＠お腹いっぱい。2010/03/13(土) 21:59:36
先月に自分もサービスディに与った。
週末メンテの恩恵だと思うがいっしょに改変もやってくるから気をつけとくよ。
つかそれを期待しての週末ロングラン耐久テストしてるんだが。
04554522010/03/13(土) 22:27:59
結局３７０枚で制限来ちゃった。
平均５００ｋｂくらいの画像だったんですけどね。
0456名無しさん＠お腹いっぱい。2010/03/13(土) 23:37:23
まさか接続している総時間、とかじゃないよな？

俺フレッツ・ISDNでシコシコ頑張ってるけど、
400〜500KBの画像だけど
毎回10枚強落としたところで制限に入るよ…。
転送量にしたらせいぜい5〜6MBってとこだぞ？
時間はそれなりに掛かっているが…。
0457名無しさん＠お腹いっぱい。2010/03/13(土) 23:40:43
H画像じゃないんですが、以下のサイトの、好みの女優の画像を一気に全部落としたいです。
ttp://www.sexydesktop.co.uk/index.htm
例えばエイミー・アダムスの場合だと、
ttp://www.sexydesktop.co.uk/amyadams.htm
をトップページとして合計3ページ分あります。
いずれの画像もstandard用とwidescreen用のものが用意されていて、
例えばトップページだと15種類30枚の画像があります。2ページ目も同じ。
どの女優の画像もそうなのですが、最後のページは残りの端数分だけ掲載されていて、
余った部分には別の女優のページへのリンクが挿入されるようになっています。
で、エイミー・アダムスの場合には、3ページ目に4種類8枚の画像があります。
合計34種類68枚の画像があるわけですが、これを一気に落としたいんです。
もちろんエイミー・アダムスは例です。本命はもっと枚数の多い女優の画像。
誰か助けて。
0458名無しさん＠お腹いっぱい。2010/03/13(土) 23:44:53
>>456
動的IPで契約してると、複数のIPを使える反面
同じアドレスプールにe-henユーザーが居るとバッティングしちゃうんだよね
0459名無しさん＠お腹いっぱい。2010/03/13(土) 23:56:03
>>457
酔っぱらった頭で読み解くと『余った部分に挿入されてる別の女優のページ』は
すっ飛ばしてエイミー・アダムスの画像だけ落としたいが、今使っているツール
では旨く行かない、もしくは現在手作業なので自動化したいって言う事？
その昔スーパーモデルブームの頃abpeｆ*に釘付けになった自分には良くわかるよ。
えっ一緒にするなって？
0460名無しさん＠お腹いっぱい。2010/03/14(日) 00:10:34
>>458
ピンポイントで規制してるんじゃないんだ？

アドレスの切り替え自体は切断→再接続の5秒程度で済むから
制限される度にパッパパッパと贅沢に使い捨てていってるんだけど、
とりあえず切り替えちゃえばまた10枚程度は普通に落とせるんだよね。
（最初から落とせない「ハズレ」もなければ、20枚も30枚も落とせる「アタリ」もない）

e-hentaiには、全国の悩めるツール使いのために
可及的速やかに帯域制限の発動条件をつまびらかにするよう
強く求める次第である。
04614522010/03/14(日) 01:11:19
>>457
ざらっと見てみた。
jsつかいまくり、クッキー喰え、リファーよこせ。
めんどくせー
各ページへのリンク抽出まんどくさそう。
なによりも、俺の食指がうごかねえ。w
0462名無しさん＠お腹いっぱい。2010/03/14(日) 01:38:00
http://ideone.com/UrZjCFU4
0463名無しさん＠お腹いっぱい。2010/03/14(日) 10:54:14
スクリプト使い方分らなす( ;ω;)
どなたか、GetChinkoみたいなGUIツール作って下さい。
お願いします。
0464名無しさん＠お腹いっぱい。2010/03/14(日) 11:42:13
串対応しないバージョンなら足引っ張らないからあげてもいいかな
デチューンめんどくさいけど
つか１ＩＰで高速に画像だけ落としていくと規制（５０９待ち時間）強烈だぞ？
0465名無しさん＠お腹いっぱい。2010/03/14(日) 12:04:21
使える串ってどの辺から調達してますのん？素じゃ全然ダメだから学びたいが
取っ掛かりが・・・
0466名無しさん＠お腹いっぱい。2010/03/14(日) 12:13:23
>>463
のどから手が出るほどの熱い気持ちがあれば使い方はきっと分かる!
0467名無しさん＠お腹いっぱい。2010/03/14(日) 13:38:36
>>465
proxy list で、ググればいくらでも出てくるぞ。
使えるかどうかは運次第

オラ場合はプロキシの杜から、全部落としてきて
総当たり戦
0468名無しさん＠お腹いっぱい。2010/03/14(日) 17:00:17
この板にいてスクリプトの使い方がわからないなんてありえない。
0469名無しさん＠お腹いっぱい。2010/03/14(日) 19:10:16
どれもこれもe-henが悪いんや
良い意味でも悪い意味でも
0470名無しさん＠お腹いっぱい。2010/03/14(日) 20:28:56
私もここに来たのはHentaiがらみですけど、足掛け6年のこのスレ
最近の勢いは皆さん使える時間が増えたからかな
前スレは5年というから立ったのはバブル崩壊の頃か
本スレがあと5年続きますように
0471名無しさん＠お腹いっぱい。2010/03/14(日) 21:54:38
今日のログを見て気が付いたが自分も久しぶりにサービスタイムに突入してた。
が従量というより時間で終了した感じ。今>>458に納得した。
次のチャンスを逃さぬようサービスタイムを検知してブースト掛けるモードを検討するよ。
0472名無しさん＠お腹いっぱい。2010/03/14(日) 22:45:56
でもまぁ光にしても８スレッドくらいで同時にＤＬしようとすると全体が重くなって
細い串が逝っちゃうから微妙なんだよね（複数ＰＣで分けても回線が１本ならいっしょ）。
大学みたいに大量にＩＰ持ってればええんだけど。
一番良いのはe-henの有料ユーザー？になることだけど。串とかいらなそうだし。それ以前にzipで落とせるんだっけ？
0473名無しさん＠お腹いっぱい。2010/03/14(日) 23:12:25
>461
最初のページだけ & std だけじゃが、こんなんでどうぜよ

grep /img.php jodie.htm|egrep -o '[0-9]+@[^"]+'|sed 's/@id/_jodie/;s/$/lo.jpg/;s/@iv/.imagevenue.com/'|awk '{print "http://img"$0}'

おらの趣味で jodie を例にしちょるけんど
(最後の awk は sed の範囲でどうにかなるんだよねきっと…)
0474名無しさん＠お腹いっぱい。2010/03/14(日) 23:19:14
awk やっぱりいらんかったぜよ

grep /img.php jodie-4.htm|egrep -o '[0-9]+@[^"]+'|sed 's/@id/_jodie/;s/$/lo.jpg/;s/@iv/.imagevenue.com/;s_^_http://img_'

sed の @id 置換部分だけ女優名にすればええがじゃ
あとは script 化すればできるろう
0475名無しさん＠お腹いっぱい。2010/03/14(日) 23:33:42
>>473 お、ども。なんか良さげなんですが、
いきなり grep から始まってて、
それをどう使えばいいか解らんです。
もうちょっと解説お願いします。
0476名無しさん＠お腹いっぱい。2010/03/14(日) 23:43:52
>>475
せっかく>>462 が、shスクリプト上げてくれてるのに無視かい。
0477名無しさん＠お腹いっぱい。2010/03/15(月) 00:11:09
>>476 ダメす。>>473-474 と >462 がどう関係するのかぜんぜんわかんねっす。orz
0478名無しさん＠お腹いっぱい。2010/03/15(月) 00:19:06
>>475は検索して直接飛んできたからここがUNIX版だって気付いてないと思うが。
ユニックスとかリナックスって聞いたことはあるでしょう。
ここはそういった種類のOSを使ってる人が多いんですよ。
マイクロソフトのウィンドウズを使ってるなら次は"Cygwin"で検索してみると良いよ。
0479名無しさん＠お腹いっぱい。2010/03/15(月) 00:55:04
grep知ってるみたいだし、
その辺の事情が分かってないわけではないんじゃない？
>>462のどこを>>473-474にするのかが分かんねーよってことだろ
とエスパーしてみる
0480名無しさん＠お腹いっぱい。2010/03/15(月) 01:16:09
>>157さんの許可が有れば、俺様適当パッチ get.pl プロクシ対応版を
あｐする用意が、ありますがどうでしょう？
需要有りますか？
許可と需要が有れば、あｐする予定です。
0481名無しさん＠お腹いっぱい。2010/03/15(月) 02:54:02
>>478 いやUNIX板だということは承知してますがスキルが超低いのです。
>>473-474 のコードを >>462 のどこに挿入すればいいのか分からんのです。
っていうか >>462 が私の質問へのレスとは思ってなかったです。
0482名無しさん＠お腹いっぱい。2010/03/15(月) 03:09:09
ついにhentai潰れたのか
0483名無しさん＠お腹いっぱい。2010/03/15(月) 03:15:37
と思ったけどキャッシュ見たら今日の昼間で更新されてるな
弾かれたの？
0484名無しさん＠お腹いっぱい。2010/03/15(月) 13:26:57
>462
なんか見てみたら結構参考になるじゃん
thx
04851572010/03/15(月) 14:13:35
>>480
get.pl プロクシ対応版、是非ともUPお願いします。
04864802010/03/15(月) 14:30:17
>>485
許可ありがとうございます。
http://www1.axfc.net/uploader/Sc/so/92665

キーワードは、hentaiget

ご質問などありましたらこの板で
0487名無しさん＠お腹いっぱい。2010/03/15(月) 14:52:23
そして限られた公開プロキシの壮絶な奪い合いが始まるのであった...
0488名無しさん＠お腹いっぱい。2010/03/15(月) 15:47:26
>>487
ソースちゃんと見てないけど、森しかアクセスしてないかも
0489名無しさん＠お腹いっぱい。2010/03/16(火) 01:39:07
e-hentaiがPSPのブラウザじゃ見れないけどなんで？
0490名無しさん＠お腹いっぱい。2010/03/16(火) 01:53:11
windowsの人はこれよさそうだ
ttp://yamadasox.hp.infoseek.co.jp/
CCB Proxy採集＆検査ツール
0491名無しさん＠お腹いっぱい。2010/03/16(火) 06:52:47
PS3でも見れない・・パソコンでは問題ないんだが・・
0492名無しさん＠お腹いっぱい。2010/03/16(火) 12:02:25
proxy.txtは作れたが、どうにも-ｐからの、txtパスが上手く通せねぇ
って、通せたかもしれないけど落とせないなぁ
できたtxtがすっからかんになったから読み込み専用にしたが無意味か
04934802010/03/16(火) 12:59:54
>>492
proxy.txtを読込み専用しちゃだめ。
接続出来たプロクシは、残すようにしてあるからね。
接続出来なかったプロクシは削除されるので
今後使えるかもしれないプロクシが残って行く。
proxy.txtの一行目を、1に戻すとそのプロクシを使えるよ。

サンプルスクリプトでは、プロキシの杜だけからダウンするけど
他の公開リストのサーバーからも、ダウン出来る様に拡張してみて
0494名無しさん＠お腹いっぱい。2010/03/16(火) 15:14:53
そかそか、サンクス
拡張は知識的に無理でお察しな上に
読み込み専用がどうの以前に何がしらのエラーで画像落とせてないから
もちっとググったりして煮詰めてみるよ
0495名無しさん＠お腹いっぱい。2010/03/16(火) 18:33:23
エラー？
パス指定できてないだけでは？
0496名無しさん＠お腹いっぱい。2010/03/16(火) 23:04:23
-lで続行しようとしても、いつまでたってもget[0]から先
400が返ってくる。
0497名無しさん＠お腹いっぱい。2010/03/16(火) 23:33:18
>>471だがこれで3日連続でサービスタイムがやってきたよ。
今日のは150MB,360枚だった。向こうで何が起ってるんだ？
0498名無しさん＠お腹いっぱい。2010/03/16(火) 23:52:59
チラシの裏にでも書いとけ
0499名無しさん＠お腹いっぱい。2010/03/17(水) 00:28:42
サービスタイムてｗｗ
05004802010/03/17(水) 00:35:48
http://www1.axfc.net/uploader/Sc/so/93241

リストを作成するデレクトリィによっては、うまく動作しない場合が
ありました。
リストが空っぽの状態になるバグ。このバグを直す為に入れたコード
が、更にバグを産んでいた。わはは、すまん
キーワードは、hentaiget

画像取得で、エラーがおきたらリトライする回数を、ウザイから
３回に変更しました。
05014802010/03/17(水) 12:37:58
readme2.txtに書き忘れていた事。
オリジナルget.plと .litsファイルの互換性はありません。
hentaiget の方は、ナンバリング情報が入っていますので
.listの相互活用が出来なくなっています。

書き忘れていてごめんなさい。
0502名無しさん＠お腹いっぱい。2010/03/17(水) 15:00:39
サービスタイム情報は明日の朝刊のチラ紙をご覧ください！
05034802010/03/18(木) 00:02:43
たびたびすみません。
>>501の注意書きを追加した物を上げときます。
心配性で小心者なんで。
誤字脱字もついでに修正。
内容は、変わっていませんので以前の、物をダウンされた方は
とくにダウンは必要有りません。

ほんと、すみません

http://www1.axfc.net/uploader/Sc/so/93619

キーワードは変わっていませんのでよしなに。
0504名無しさん＠お腹いっぱい。2010/03/18(木) 01:22:39
乙ですよ
0505名無しさん＠お腹いっぱい。2010/03/18(木) 01:30:35
なんだ
他にもpspで見れなくなった人がいたんだ・・・
0506名無しさん＠お腹いっぱい。2010/03/18(木) 02:40:41
今日は、プロクシハズレばっかり引いていた
*nix系列のOSで動くプロクシコレクターないかしら
探し方が悪いのか、見付けられない
やはりみんなお手製で、やってるの？ >*nixのひと
0507名無しさん＠お腹いっぱい。2010/03/18(木) 15:15:24
戦いはもう始まっているからな。
しかしまぁ、みんな技術はあるけど、
ここまで卑屈にダウンロード特化のツールにしないとならんのが悲しいというか紳士だなｗ
この件でアップロードしたりサーバーソケットで共有ツールにしたらお縄だからな
ＩＰ消耗戦の問題は解決するけど
0508名無しさん＠お腹いっぱい。2010/03/18(木) 17:24:34
ipV6とか使えヘンの？
0509名無しさん＠お腹いっぱい。2010/03/18(木) 18:06:20
IPV6とかそういうめどいことはwgetやperlのライブラリに丸投げ
暇ならソケット云々からやり直しだ
0510名無しさん＠お腹いっぱい。2010/03/18(木) 18:06:30
君が対応すれば万事解決！
0511名無しさん＠お腹いっぱい。2010/03/19(金) 13:22:00
>>503
斧がどの板もInternal Server Errorなんだけど、他の人は大丈夫なの?
0512名無しさん＠お腹いっぱい。2010/03/19(金) 13:24:06
斧確認してみた
500が出る
終了か・メンテか
0513名無しさん＠お腹いっぱい。2010/03/20(土) 00:07:22
そう言えば、ここあったなら解決できるかなぁって思いました。

http://www.sexydesktop.co.uk/

↑ここの何処でもいいんですが、なんとかできないでしょうか？
wallpaporz入れたら、壁紙いっぱい欲しくなりました。
0514名無しさん＠お腹いっぱい。2010/03/20(土) 00:11:40
nihongoでおk
0515名無しさん＠お腹いっぱい。2010/03/20(土) 00:19:39
アドレスを配列で分割してもって、スクリプトで構築してんのか
e-henがこの仕様になったら即日対応するが、パツ金のお姉さんじゃ萎えるわぁ
0516名無しさん＠お腹いっぱい。2010/03/20(土) 00:32:57
>>122>>457>>513と3人めか
0517名無しさん＠お腹いっぱい。2010/03/20(土) 03:50:16
>>516
すいません。既出でしたね・・・
やっぱここでも無理か。ちょっとスクリプト書いてみます。どっから手をつけようか
断念したんだけど・・・・。今時ならcurlかなぁ。
0518名無しさん＠お腹いっぱい。2010/03/20(土) 09:52:51
>>517
>>462 だよ。
>>462 だよ。大事な事な(ry
0519名無しさん＠お腹いっぱい。2010/03/20(土) 21:46:54
スレ違いかもしれませんがe-hentaiのcreditsって何をしたら貯まるものなのでしょうか？
観覧してしていないのにいつのまにか貯まっていてなんでだろうと疑問に思ったのですが・・・
0520名無しさん＠お腹いっぱい。2010/03/21(日) 00:01:01
観覧だけでも貯まるらしい
あとたまに上にモンスターが出現して倒すと貯まる？のかも
倒したことないし英語苦手だからよくわからんけど
0521名無しさん＠お腹いっぱい。2010/03/21(日) 00:58:09
e-hentaiって見てるとすぐ509になるんだけど
これ回避する方法ってない？初心者な質問で申し訳ないけど
0522名無しさん＠お腹いっぱい。2010/03/21(日) 01:30:51
ない
ないから串がどうのこうの上で言ってるわけ
0523名無しさん＠お腹いっぱい。2010/03/21(日) 01:31:13
>>521だけど自己解決した
登録してログインできるようになると
規制回避できるんだな
0524名無しさん＠お腹いっぱい。2010/03/21(日) 02:08:29
完全回避ではないぞ
0525名無しさん＠お腹いっぱい。2010/03/21(日) 11:59:44
傾向としてimage.phpではなくUnix秒と短いハッシュを指定する
サーバが多い場合は帯域制限に引っかかりにくいな。
そればっか続くと何処までも行ける気がする。
プロクシの良し悪し言ってる中には実はこれだったってのもあるんじゃね？
0526名無しさん＠お腹いっぱい。2010/03/21(日) 12:49:47
>>525
すんません
それ以前に、画像も串使わないと落とせないと勘違いしてました
ソースページだけ串で落として画像の直リン貰えば終了なのね

へこい串でもソースくらいなら落とせるから、画像は光でガンガン落とせてます
外人ポルノも落とせそうなくらい俺のクローラーが暇してます
1ipで制限にかかりにくくなったから少ない串で大量に落とせるとはいえ
依然として串の奪い合いなのは変わらんからツールは上げれないけど
0527名無しさん＠お腹いっぱい。2010/03/21(日) 19:46:52
と、言う事はe-hentaiは、リンクの有るページだけが
帯域制限の対象になっていて、画像自体は制限の対象
に、なってないって事？
0528名無しさん＠お腹いっぱい。2010/03/21(日) 19:50:07
E-Hentai Galleries は一気に落とすの無理なのか
0529名無しさん＠お腹いっぱい。2010/03/21(日) 19:56:22
>>527
画像鯖自体も時々509.gifよこすけど、ほんと時々。ウェイトで回避できる。
基本規制はソース鯖だけ。
ＵＲＬリストとかを共有できたら串問題も突破できるんだけど。
アップロードや鯖ソケットはやばいからなぁ。
そもそも時限式のアドレスっぽいからリストの鮮度維持せにゃならんし。
0530名無しさん＠お腹いっぱい。2010/03/21(日) 20:00:40
>>527
どちらにせよ置かれてる状況に変わりはないんだがな。
0531名無しさん＠お腹いっぱい。2010/03/21(日) 20:03:47
>>529
ちなみにimage.phpに渡るのはUnix秒を3600で割った値な。
有効期限は1時間内
0532名無しさん＠お腹いっぱい。2010/03/21(日) 20:19:11
>>531
こんなことしょっちゅうやっているお方なのか、すさまじい直感っすね
あのハッシュについて特に気にもとめてなかったです
なるほどソース取り直せばウェイト要らなかったんですね
ありがとうございます
0533名無しさん＠お腹いっぱい。2010/03/21(日) 20:23:17
>>532
おれはそんなこと言ってない。勝手に解釈するな。
それにしてもあんた数字に対する直観力ないな。
0534名無しさん＠お腹いっぱい。2010/03/21(日) 20:41:23
>>529,530
う〜ん、やっぱり509も返す事あるのか。
画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど
時間制限もあるから無理そうだし。
できるだけ、生ipは温存したいしなあ。
めんどからやっぱプロクシ両方とも通すかな。
0535名無しさん＠お腹いっぱい。2010/03/21(日) 21:04:35
>>520
ありがとうございます、モンスター出てるのに全然気が付かなかった・・・
マジックあるだけ使って、後はアタックしたら勝てました
レジェンド？とかいうのは効果は何なんだろ
0536名無しさん＠お腹いっぱい。2010/03/21(日) 21:11:03
一度だけ次に引くカードを交換することができる
0537名無しさん＠お腹いっぱい。2010/03/21(日) 22:11:00
倒したけど2creditsだけだった。先は長いな。
0538名無しさん＠お腹いっぱい。2010/03/21(日) 22:42:05
こんなに奥が深いサイトだったとは
E-Hentai攻略スレッドやまとめWikiが必要なようだな
0539名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:07
> 画像のアドレスだけ集めて、後でまとめてダウンと考えていたけど

俺まさにそれでやってるんだけど、
経験的に言って画像URLは24時間程度は有効っぽいけど？
0540名無しさん＠お腹いっぱい。2010/03/21(日) 23:01:51
言いだしっぺの法則
05415392010/03/21(日) 23:07:01
> 経験的に言って画像URLは24時間程度は有効っぽいけど？

鯖の生成する画像URLは確かに結構な頻度(1時間毎?)で変わるんだけど、
変わってもすぐさま前のURLが無効とはならない、という意味。
0542名無しさん＠お腹いっぱい。2010/03/21(日) 23:11:00
>>541
串通してる？画像のURLはクライアントのIPには左右されないの？
05435392010/03/21(日) 23:20:41
>>542
画像URLをゲットする時はIPアドレス切り替えていくけど、
画像本体取得時は生IP1本です。

> 画像のURLはクライアントのIPには左右されないの？

その後IP切り替えても問題なく取得出来るので、アドレスには依存しないか、
仮にするにしてもある程度の範囲は受け入れているんだと思う。
■ このスレッドは過去ログ倉庫に格納されています