連番のＨ画像/動画を一気にダウンロードする2
■ このスレッドは過去ログ倉庫に格納されています
0001前スレ1
2005/12/26(月) 02:56:22実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0426名無しさん＠お腹いっぱい。
2010/03/12(金) 12:40:39これは波があるので、いつも一定と言うわけじゃないし。
get.plに、今のところなにか問題が有るわけでも無い。
0427名無しさん＠お腹いっぱい。
2010/03/12(金) 12:57:52同条件で試したいから、どのページ落としたか教えてくれまいか
0428名無しさん＠お腹いっぱい。
2010/03/12(金) 13:11:430429名無しさん＠お腹いっぱい。
2010/03/12(金) 14:37:06で2枚目・・500Can't Connect to うんちゃらで停止ｵﾜﾀ
画像はブラウザでも見れない・・つかこんなのばっかり
環境のせいなのか、運悪く弾かれてるのか
一つも完成品拝んでないわ
0430名無しさん＠お腹いっぱい。
2010/03/12(金) 14:42:23そいつぁイエネェな、っていうか聞いてどうする。
ウチに来てウチのPCからウチのIPで接続するかい？
自分はプロクシなど使わずいつも素のIPで繋いでる。
最短30秒のインターバルを取ってるが帯域制限受けたら500秒待ち
から急速に時間を長くしながらリトライ。帯域制限解けたら徐々に
時間を短くしてゆく。(500秒も待てば解けてるけどね)
接続エラーの類は120秒待ちだ。
時間の調整値には特に意味はなく自分のせっかちさと我慢強さの折り合い。
今までの実績を大雑把に言えば1ページあたり87秒の
待ち時間だから素直に100秒おきに見に行へば良いっちゃ良いんだが。
0431名無しさん＠お腹いっぱい。
2010/03/12(金) 15:49:07まぁ名無しのexeなんて俺だって勘弁だけど
0432名無しさん＠お腹いっぱい。
2010/03/12(金) 15:55:33自分はperl読めんのだがやってることに大した違いはないと思う。
0433名無しさん＠お腹いっぱい。
2010/03/12(金) 15:59:06347 だけど、自作ツールだと確かに問題なさそーだけどな。
５０９はでるけど・・・
そこは、Proxy つかってなんとかやりくりしてる。
0434名無しさん＠お腹いっぱい。
2010/03/12(金) 17:42:18コネクトしないのは巡回リストに加えないルールにしてたけど
手動でやってみたら繋がりにくいけど繋がると速い串とかあるのな、まいった
使いたいけどconnectで落ちる串もリストに加わってしまう
0435名無しさん＠お腹いっぱい。
2010/03/12(金) 18:40:250436名無しさん＠お腹いっぱい。
2010/03/12(金) 20:02:43以前に普通にブラウザで画像が見れないものがある時点でおかしいのか
0437名無しさん＠お腹いっぱい。
2010/03/12(金) 21:45:08ステータス500で、帰ってくるプロクシサーバーはリトライ3回内で
接続出来ればオけで、そうでなければ次のプロクシを試してみる
って感じでやってます。
プロクシの評価まではやってないな。
0438437
2010/03/12(金) 21:49:51繋がりにくいけど、おｋなら結構快適。
ブルガリアかよ
0439名無しさん＠お腹いっぱい。
2010/03/12(金) 23:17:11んーいやconnectできるかどうかなので
send/recvとかwebサーバーステータスがどうとか以前の話なので
でもまあconnectの３回リトライは良いかもしれない
３回やって駄目なら鯖は存在しないってことでリストに加えないような仕方にしてみます
>>438そうそことか
0440名無しさん＠お腹いっぱい。
2010/03/13(土) 07:28:39ブラウザで見れないって...ページ自体がロードされないの？
画像がロードされないの？変な画像が表示されるの？
ページの下の方にある "Click here if the image fails loading"
でも駄目なの?
0441名無しさん＠お腹いっぱい。
2010/03/13(土) 12:51:36まず画像がズラーっと並ぶリスト的なページから
高確率で1枚目は見れます(今のところ100%？
で、2枚目・・ページ読み込んで画像が表示されるであろう領域が出ます
しばらくすると駄目だったのか、その領域が消えて○○.jpgみたいな文字だけポツン
後はそのページの広告とかお約束のが周りにといった具合
って＞"Click here if the image fails loading"
押したら見れたああああああああ
でもirvineは相変わらずorz
なんちゃらが見つかりました
なんちゃらにconnect失敗しました
ソケットエラー
0442名無しさん＠お腹いっぱい。
2010/03/13(土) 13:20:51irvineってのが良くわからんけど
ttp://www.vector.co.jp/soft/win95/net/se218138.html のこと?
なら原因と対策は作者に聞くのが良いかと...てかexeの中は判らんな。
0443名無しさん＠お腹いっぱい。
2010/03/13(土) 13:48:57まぁ道具ってのは得手不得手があるもんで
10徳ナイフじゃ刃が届かない所もあろう。
ここで言ってるスクリプトって言うのは
比較的手軽に専用の道具を作れる手段だよ。
学生で春休みで暇ならトライしてごらん。
この近所には初心者の質問に答えてくれる
板もあるだろうし。
最初にやることは押入れから昔使った英和辞書
を探し出すことだがな。
0444名無しさん＠お腹いっぱい。
2010/03/13(土) 14:07:01> 押したら見れたああああああああ
押したらURLが(そして落ちてくるHTMLが)どう変化するかくらい観察したら?
http://pc12.2ch.net/test/read.cgi/win/1261004900/490
0445名無しさん＠お腹いっぱい。
2010/03/13(土) 14:12:480446名無しさん＠お腹いっぱい。
2010/03/13(土) 14:15:060447名無しさん＠お腹いっぱい。
2010/03/13(土) 17:50:52今、ツンデレを目の当たりにしたこの感動!
0448名無しさん＠お腹いっぱい。
2010/03/13(土) 18:34:24あ・・ごめん
結局上のperlもget.plも入れたしコマンド自体の操作
設定も正しくスクリプト自体も動いてるはずなんだが
画像それ自体は落とせない状態が続いてるんだ
どろしー2入れたirvineもアレレで
>>444
頭冷やしてくる
0449名無しさん＠お腹いっぱい。
2010/03/13(土) 19:01:450450名無しさん＠お腹いっぱい。
2010/03/13(土) 19:46:46エラー内容を、うんちゃらとかアレレとか書かれても
エスパーじゃあるまいし。
0451名無しさん＠お腹いっぱい。
2010/03/13(土) 20:07:30まがりなりにもUNIX版だがカーネルのリビルドが趣味の人ばかりではなさそうだ。
0452名無しさん＠お腹いっぱい。
2010/03/13(土) 20:44:15今日は３００枚連続で落ちてきてる
サービスディかな？
0453名無しさん＠お腹いっぱい。
2010/03/13(土) 21:44:440454名無しさん＠お腹いっぱい。
2010/03/13(土) 21:59:36週末メンテの恩恵だと思うがいっしょに改変もやってくるから気をつけとくよ。
つかそれを期待しての週末ロングラン耐久テストしてるんだが。
0455452
2010/03/13(土) 22:27:59平均５００ｋｂくらいの画像だったんですけどね。
0456名無しさん＠お腹いっぱい。
2010/03/13(土) 23:37:23俺フレッツ・ISDNでシコシコ頑張ってるけど、
400〜500KBの画像だけど
毎回10枚強落としたところで制限に入るよ…。
転送量にしたらせいぜい5〜6MBってとこだぞ？
時間はそれなりに掛かっているが…。
0457名無しさん＠お腹いっぱい。
2010/03/13(土) 23:40:43ttp://www.sexydesktop.co.uk/index.htm
例えばエイミー・アダムスの場合だと、
ttp://www.sexydesktop.co.uk/amyadams.htm
をトップページとして合計3ページ分あります。
いずれの画像もstandard用とwidescreen用のものが用意されていて、
例えばトップページだと15種類30枚の画像があります。2ページ目も同じ。
どの女優の画像もそうなのですが、最後のページは残りの端数分だけ掲載されていて、
余った部分には別の女優のページへのリンクが挿入されるようになっています。
で、エイミー・アダムスの場合には、3ページ目に4種類8枚の画像があります。
合計34種類68枚の画像があるわけですが、これを一気に落としたいんです。
もちろんエイミー・アダムスは例です。本命はもっと枚数の多い女優の画像。
誰か助けて。
0458名無しさん＠お腹いっぱい。
2010/03/13(土) 23:44:53動的IPで契約してると、複数のIPを使える反面
同じアドレスプールにe-henユーザーが居るとバッティングしちゃうんだよね
0459名無しさん＠お腹いっぱい。
2010/03/13(土) 23:56:03酔っぱらった頭で読み解くと『余った部分に挿入されてる別の女優のページ』は
すっ飛ばしてエイミー・アダムスの画像だけ落としたいが、今使っているツール
では旨く行かない、もしくは現在手作業なので自動化したいって言う事？
その昔スーパーモデルブームの頃abpeｆ*に釘付けになった自分には良くわかるよ。
えっ一緒にするなって？
0460名無しさん＠お腹いっぱい。
2010/03/14(日) 00:10:34ピンポイントで規制してるんじゃないんだ？
アドレスの切り替え自体は切断→再接続の5秒程度で済むから
制限される度にパッパパッパと贅沢に使い捨てていってるんだけど、
とりあえず切り替えちゃえばまた10枚程度は普通に落とせるんだよね。
（最初から落とせない「ハズレ」もなければ、20枚も30枚も落とせる「アタリ」もない）
e-hentaiには、全国の悩めるツール使いのために
可及的速やかに帯域制限の発動条件をつまびらかにするよう
強く求める次第である。
0461452
2010/03/14(日) 01:11:19ざらっと見てみた。
jsつかいまくり、クッキー喰え、リファーよこせ。
めんどくせー
各ページへのリンク抽出まんどくさそう。
なによりも、俺の食指がうごかねえ。w
0462名無しさん＠お腹いっぱい。
2010/03/14(日) 01:38:000463名無しさん＠お腹いっぱい。
2010/03/14(日) 10:54:14どなたか、GetChinkoみたいなGUIツール作って下さい。
お願いします。
0464名無しさん＠お腹いっぱい。
2010/03/14(日) 11:42:13デチューンめんどくさいけど
つか１ＩＰで高速に画像だけ落としていくと規制（５０９待ち時間）強烈だぞ？
0465名無しさん＠お腹いっぱい。
2010/03/14(日) 12:04:21取っ掛かりが・・・
0466名無しさん＠お腹いっぱい。
2010/03/14(日) 12:13:23のどから手が出るほどの熱い気持ちがあれば使い方はきっと分かる!
0467名無しさん＠お腹いっぱい。
2010/03/14(日) 13:38:36proxy list で、ググればいくらでも出てくるぞ。
使えるかどうかは運次第
オラ場合はプロキシの杜から、全部落としてきて
総当たり戦
0468名無しさん＠お腹いっぱい。
2010/03/14(日) 17:00:170469名無しさん＠お腹いっぱい。
2010/03/14(日) 19:10:16良い意味でも悪い意味でも
0470名無しさん＠お腹いっぱい。
2010/03/14(日) 20:28:56最近の勢いは皆さん使える時間が増えたからかな
前スレは5年というから立ったのはバブル崩壊の頃か
本スレがあと5年続きますように
0471名無しさん＠お腹いっぱい。
2010/03/14(日) 21:54:38が従量というより時間で終了した感じ。今>>458に納得した。
次のチャンスを逃さぬようサービスタイムを検知してブースト掛けるモードを検討するよ。
0472名無しさん＠お腹いっぱい。
2010/03/14(日) 22:45:56細い串が逝っちゃうから微妙なんだよね（複数ＰＣで分けても回線が１本ならいっしょ）。
大学みたいに大量にＩＰ持ってればええんだけど。
一番良いのはe-henの有料ユーザー？になることだけど。串とかいらなそうだし。それ以前にzipで落とせるんだっけ？
0473名無しさん＠お腹いっぱい。
2010/03/14(日) 23:12:25最初のページだけ & std だけじゃが、こんなんでどうぜよ
grep /img.php jodie.htm|egrep -o '[0-9]+@[^"]+'|sed 's/@id/_jodie/;s/$/lo.jpg/;s/@iv/.imagevenue.com/'|awk '{print "http://img"$0}'
おらの趣味で jodie を例にしちょるけんど
(最後の awk は sed の範囲でどうにかなるんだよねきっと…)
0474名無しさん＠お腹いっぱい。
2010/03/14(日) 23:19:14grep /img.php jodie-4.htm|egrep -o '[0-9]+@[^"]+'|sed 's/@id/_jodie/;s/$/lo.jpg/;s/@iv/.imagevenue.com/;s_^_http://img_'
sed の @id 置換部分だけ女優名にすればええがじゃ
あとは script 化すればできるろう
0475名無しさん＠お腹いっぱい。
2010/03/14(日) 23:33:42いきなり grep から始まってて、
それをどう使えばいいか解らんです。
もうちょっと解説お願いします。
0476名無しさん＠お腹いっぱい。
2010/03/14(日) 23:43:52せっかく>>462 が、shスクリプト上げてくれてるのに無視かい。
0478名無しさん＠お腹いっぱい。
2010/03/15(月) 00:19:06ユニックスとかリナックスって聞いたことはあるでしょう。
ここはそういった種類のOSを使ってる人が多いんですよ。
マイクロソフトのウィンドウズを使ってるなら次は"Cygwin"で検索してみると良いよ。
0479名無しさん＠お腹いっぱい。
2010/03/15(月) 00:55:04その辺の事情が分かってないわけではないんじゃない？
>>462のどこを>>473-474にするのかが分かんねーよってことだろ
とエスパーしてみる
0480名無しさん＠お腹いっぱい。
2010/03/15(月) 01:16:09あｐする用意が、ありますがどうでしょう？
需要有りますか？
許可と需要が有れば、あｐする予定です。
0481名無しさん＠お腹いっぱい。
2010/03/15(月) 02:54:02>>473-474 のコードを >>462 のどこに挿入すればいいのか分からんのです。
っていうか >>462 が私の質問へのレスとは思ってなかったです。
0482名無しさん＠お腹いっぱい。
2010/03/15(月) 03:09:090483名無しさん＠お腹いっぱい。
2010/03/15(月) 03:15:37弾かれたの？
0484名無しさん＠お腹いっぱい。
2010/03/15(月) 13:26:57なんか見てみたら結構参考になるじゃん
thx
0486480
2010/03/15(月) 14:30:17許可ありがとうございます。
http://www1.axfc.net/uploader/Sc/so/92665
キーワードは、hentaiget
ご質問などありましたらこの板で
0487名無しさん＠お腹いっぱい。
2010/03/15(月) 14:52:230488名無しさん＠お腹いっぱい。
2010/03/15(月) 15:47:26ソースちゃんと見てないけど、森しかアクセスしてないかも
0489名無しさん＠お腹いっぱい。
2010/03/16(火) 01:39:070490名無しさん＠お腹いっぱい。
2010/03/16(火) 01:53:11ttp://yamadasox.hp.infoseek.co.jp/
CCB Proxy採集＆検査ツール
0491名無しさん＠お腹いっぱい。
2010/03/16(火) 06:52:470492名無しさん＠お腹いっぱい。
2010/03/16(火) 12:02:25って、通せたかもしれないけど落とせないなぁ
できたtxtがすっからかんになったから読み込み専用にしたが無意味か
0493480
2010/03/16(火) 12:59:54proxy.txtを読込み専用しちゃだめ。
接続出来たプロクシは、残すようにしてあるからね。
接続出来なかったプロクシは削除されるので
今後使えるかもしれないプロクシが残って行く。
proxy.txtの一行目を、1に戻すとそのプロクシを使えるよ。
サンプルスクリプトでは、プロキシの杜だけからダウンするけど
他の公開リストのサーバーからも、ダウン出来る様に拡張してみて
0494名無しさん＠お腹いっぱい。
2010/03/16(火) 15:14:53拡張は知識的に無理でお察しな上に
読み込み専用がどうの以前に何がしらのエラーで画像落とせてないから
もちっとググったりして煮詰めてみるよ
0495名無しさん＠お腹いっぱい。
2010/03/16(火) 18:33:23パス指定できてないだけでは？
0496名無しさん＠お腹いっぱい。
2010/03/16(火) 23:04:23400が返ってくる。
0497名無しさん＠お腹いっぱい。
2010/03/16(火) 23:33:18今日のは150MB,360枚だった。向こうで何が起ってるんだ？
0498名無しさん＠お腹いっぱい。
2010/03/16(火) 23:52:590499名無しさん＠お腹いっぱい。
2010/03/17(水) 00:28:420500480
2010/03/17(水) 00:35:48リストを作成するデレクトリィによっては、うまく動作しない場合が
ありました。
リストが空っぽの状態になるバグ。このバグを直す為に入れたコード
が、更にバグを産んでいた。わはは、すまん
キーワードは、hentaiget
画像取得で、エラーがおきたらリトライする回数を、ウザイから
３回に変更しました。
0501480
2010/03/17(水) 12:37:58オリジナルget.plと .litsファイルの互換性はありません。
hentaiget の方は、ナンバリング情報が入っていますので
.listの相互活用が出来なくなっています。
書き忘れていてごめんなさい。
0502名無しさん＠お腹いっぱい。
2010/03/17(水) 15:00:390503480
2010/03/18(木) 00:02:43>>501の注意書きを追加した物を上げときます。
心配性で小心者なんで。
誤字脱字もついでに修正。
内容は、変わっていませんので以前の、物をダウンされた方は
とくにダウンは必要有りません。
ほんと、すみません
http://www1.axfc.net/uploader/Sc/so/93619
キーワードは変わっていませんのでよしなに。
0504名無しさん＠お腹いっぱい。
2010/03/18(木) 01:22:390505名無しさん＠お腹いっぱい。
2010/03/18(木) 01:30:35他にもpspで見れなくなった人がいたんだ・・・
0506名無しさん＠お腹いっぱい。
2010/03/18(木) 02:40:41*nix系列のOSで動くプロクシコレクターないかしら
探し方が悪いのか、見付けられない
やはりみんなお手製で、やってるの？ >*nixのひと
0507名無しさん＠お腹いっぱい。
2010/03/18(木) 15:15:24しかしまぁ、みんな技術はあるけど、
ここまで卑屈にダウンロード特化のツールにしないとならんのが悲しいというか紳士だなｗ
この件でアップロードしたりサーバーソケットで共有ツールにしたらお縄だからな
ＩＰ消耗戦の問題は解決するけど
0508名無しさん＠お腹いっぱい。
2010/03/18(木) 17:24:340509名無しさん＠お腹いっぱい。
2010/03/18(木) 18:06:20暇ならソケット云々からやり直しだ
0510名無しさん＠お腹いっぱい。
2010/03/18(木) 18:06:300511名無しさん＠お腹いっぱい。
2010/03/19(金) 13:22:00斧がどの板もInternal Server Errorなんだけど、他の人は大丈夫なの?
0512名無しさん＠お腹いっぱい。
2010/03/19(金) 13:24:06500が出る
終了か・メンテか
0513名無しさん＠お腹いっぱい。
2010/03/20(土) 00:07:22http://www.sexydesktop.co.uk/
↑ここの何処でもいいんですが、なんとかできないでしょうか？
wallpaporz入れたら、壁紙いっぱい欲しくなりました。
0514名無しさん＠お腹いっぱい。
2010/03/20(土) 00:11:400515名無しさん＠お腹いっぱい。
2010/03/20(土) 00:19:39e-henがこの仕様になったら即日対応するが、パツ金のお姉さんじゃ萎えるわぁ
0516名無しさん＠お腹いっぱい。
2010/03/20(土) 00:32:570517名無しさん＠お腹いっぱい。
2010/03/20(土) 03:50:16すいません。既出でしたね・・・
やっぱここでも無理か。ちょっとスクリプト書いてみます。どっから手をつけようか
断念したんだけど・・・・。今時ならcurlかなぁ。
0518名無しさん＠お腹いっぱい。
2010/03/20(土) 09:52:51>>462 だよ。
>>462 だよ。大事な事な(ry
0519名無しさん＠お腹いっぱい。
2010/03/20(土) 21:46:54観覧してしていないのにいつのまにか貯まっていてなんでだろうと疑問に思ったのですが・・・
0520名無しさん＠お腹いっぱい。
2010/03/21(日) 00:01:01あとたまに上にモンスターが出現して倒すと貯まる？のかも
倒したことないし英語苦手だからよくわからんけど
0521名無しさん＠お腹いっぱい。
2010/03/21(日) 00:58:09これ回避する方法ってない？初心者な質問で申し訳ないけど
0522名無しさん＠お腹いっぱい。
2010/03/21(日) 01:30:51ないから串がどうのこうの上で言ってるわけ
0523名無しさん＠お腹いっぱい。
2010/03/21(日) 01:31:13登録してログインできるようになると
規制回避できるんだな
0524名無しさん＠お腹いっぱい。
2010/03/21(日) 02:08:290525名無しさん＠お腹いっぱい。
2010/03/21(日) 11:59:44サーバが多い場合は帯域制限に引っかかりにくいな。
そればっか続くと何処までも行ける気がする。
プロクシの良し悪し言ってる中には実はこれだったってのもあるんじゃね？
■ このスレッドは過去ログ倉庫に格納されています