連番のＨ画像/動画を一気にダウンロードする2
■ このスレッドは過去ログ倉庫に格納されています
0001前スレ1
2005/12/26(月) 02:56:22実践されているノウハウを教えていただきたく再度、スレを立てさせてもらいました。
前スレ 連番のH画像を一気にダウンロードする
http://pc8.2ch.net/test/read.cgi/unix/979106537/
0372名無しさん＠お腹いっぱい。
2010/03/06(土) 20:47:09gzip を decode 出来る(HTTP::Messageを参照).
decode されて is_utf8 なので, そのまま出力すると warning が出るから,
ファイルハンドラの HTML を encoding つきで open するか, binmode で設定する.
具体的には gethtml() の以下の部分.
- open (HTML, "> $sfn") or die $! ;
+ open (HTML, '>:encoding(utf8)', $sfn) or die $! ;
- print HTML $res->content ;
+ print HTML $res->decoded_content ;
gzipped ファイルに必死で matching を試みた俺に乾杯.
でも折角圧縮してくれてるんだから, こっちで decode してやるのが人だと思う.
0373名無しさん＠お腹いっぱい。
2010/03/06(土) 23:15:50知らんかったよ勉強になった
0374名無しさん＠お腹いっぱい。
2010/03/07(日) 22:53:290375名無しさん＠お腹いっぱい。
2010/03/08(月) 00:21:430376名無しさん＠お腹いっぱい。
2010/03/08(月) 01:22:06見事わっちも、ひっかりました。以前は、動いていた気がするけど気のせい？
0377名無しさん＠お腹いっぱい。
2010/03/08(月) 08:57:131日に20冊くらい良いのが上がるから串踏むようなツールに変えないと
0378名無しさん＠お腹いっぱい。
2010/03/08(月) 11:30:29あの41桁のSHA-1らしき何かは逆算できるものなの？
とりあえずURLに画像の大きさと幅と高さが埋め込まれていることしかわからない
0379名無しさん＠お腹いっぱい。
2010/03/08(月) 12:04:040380名無しさん＠お腹いっぱい。
2010/03/08(月) 12:19:55>あの41桁のSHA-1らしき何かは逆算できるものなの？
逆算してどうするの？
正規表現で取出すだけじゃない
プロクシで、ダウンテスト中だが今のところ落とせている。
0381名無しさん＠お腹いっぱい。
2010/03/08(月) 19:27:410382名無しさん＠お腹いっぱい。
2010/03/08(月) 20:52:29あんたのHentai間口は俺よりかなりデカイ>>377
0383名無しさん＠お腹いっぱい。
2010/03/08(月) 21:32:16まぁ今週金曜の様子を見てからにしなよ。
guestは総Flash化されるかもな。
0384名無しさん＠お腹いっぱい。
2010/03/08(月) 23:13:32やりかねん
と言う事でまかせたぞ>383
0385名無しさん＠お腹いっぱい。
2010/03/08(月) 23:34:32今は３次ばっかでスルー多いけど、年末年明けは見るの大変でした
0386名無しさん＠お腹いっぱい。
2010/03/09(火) 09:05:400387名無しさん＠お腹いっぱい。
2010/03/09(火) 09:28:01その辺の巡回取得を先に実装するのが常識？
0388名無しさん＠お腹いっぱい。
2010/03/09(火) 09:49:38やっぱこれも込みで自動化せんといかんな
0389名無しさん＠お腹いっぱい。
2010/03/09(火) 11:44:400390名無しさん＠お腹いっぱい。
2010/03/09(火) 11:49:38aria2cだといけるんだが
0391名無しさん＠お腹いっぱい。
2010/03/09(火) 13:14:25潰れてない件
0392名無しさん＠お腹いっぱい。
2010/03/09(火) 13:26:59使えるプロクシは、意外と少ない。
おいらは、まったりプロクシ手動設定さ。みんなのおこぼれipでダウンするよ
0393名無しさん＠お腹いっぱい。
2010/03/09(火) 17:04:010394名無しさん＠お腹いっぱい。
2010/03/09(火) 17:30:03「g_e-hentai_org」を落とそうとするんだが
0395名無しさん＠お腹いっぱい。
2010/03/09(火) 17:31:06「g_e-hentai_org」ってのが落ちてくるんだが
0396名無しさん＠お腹いっぱい。
2010/03/09(火) 17:40:250397名無しさん＠お腹いっぱい。
2010/03/09(火) 18:28:19フランスとか台湾で生きのいい串があったけどああいうのに当たると気持ちいい。
基本どこも重いか既にご使用済みだよね。
おかげでタイムアウトやコネクトがらみのデバッグできちゃったよ。
ともあれ串対応したおかげで302時代より落とせてるかも。
ただ落としたjpg見ると破損してるのあるからレジューム機能も付けんといかんです。
0398名無しさん＠お腹いっぱい。
2010/03/09(火) 18:56:22画像なんてオマケです
0399名無しさん＠お腹いっぱい。
2010/03/09(火) 19:03:38実際見る時間無いしね。
１枚目の画像見て、びびっと来たのを登録するだけの作業になっている。
１枚目の画像だけありゃいいじゃんみたいに思えてくる。
0400名無しさん＠お腹いっぱい。
2010/03/09(火) 21:46:13俺は実際受信した画像データとContent-Length比較して違えばリトライしてるが
0401157
2010/03/09(火) 21:47:14ttp://www1.axfc.net/uploader/Sc/so/90788
DLキーワードは「連番ダウン」です。
0402名無しさん＠お腹いっぱい。
2010/03/09(火) 22:03:52otukare
早速質問
getpicsサブルーチンの
if ( -e $img ) は、フォルダー指定抜けてない？
0403名無しさん＠お腹いっぱい。
2010/03/09(火) 23:29:44乙豚!!
0404名無しさん＠お腹いっぱい。
2010/03/09(火) 23:32:060405名無しさん＠お腹いっぱい。
2010/03/10(水) 02:14:01俺もだわ
文字化け発生してびびった
0406名無しさん＠お腹いっぱい。
2010/03/10(水) 07:09:15自作ツールから無事コール出来てます
ありがとー
0407名無しさん＠お腹いっぱい。
2010/03/10(水) 18:15:48早速>>401のをDLしてみたんだけど、自分には何がなんだかサッパリだったぜ…。
ツールを使用してとかじゃないのかぁ。
0408名無しさん＠お腹いっぱい。
2010/03/10(水) 18:30:590409名無しさん＠お腹いっぱい。
2010/03/10(水) 21:57:44アイコンをダブルクリックして、ボタンを幾つかクリックしたら
ダウンロード開始みたいな「ツール」を、期待していたのだろう。
でもね、スクリプトも面白いよ。
言い機会だからちょっといじってみなよ
0410名無しさん＠お腹いっぱい。
2010/03/10(水) 23:04:13ちょっとした死神博士気分だ。
アジトは古アパートだが。
おっと、ゾル大佐に呼ばれた。イーッ!
0411157
2010/03/11(木) 00:19:47確かに抜けてますね
これじゃ何やってるか分からないですね
今までエラーが出なかったのでセーフだと思ってました
エラーがでないのも当たり前です
機を見て直しておきます
0412名無しさん＠お腹いっぱい。
2010/03/11(木) 11:08:48>>393
>>405
プニルでは変な文字列
IEとか火狐だと入れる
原因ワカンネ
0413名無しさん＠お腹いっぱい。
2010/03/11(木) 15:15:12長いな
0414名無しさん＠お腹いっぱい。
2010/03/11(木) 16:04:1950枚くらい落とせるのが、最近のパータンじゃない？
たまに、サービスデーで300枚くらいまで制限が来ない日も有るけどね。
ルーターをリセットするなり、プロクシかますとかでなんとかなる。
0415名無しさん＠お腹いっぱい。
2010/03/11(木) 22:39:10e-hentaiは複雑だから、そこらのフリーソフトみたいにURL入れてフォルダ選んで保存押すだけって訳にはいかないんじゃない
0416名無しさん＠お腹いっぱい。
2010/03/11(木) 22:59:00変化に追従できるようHTML解析部をDLL化したりしてね。
自分は人の褌で取る相撲にそこまでの製作意欲も沸かないが。
0417名無しさん＠お腹いっぱい。
2010/03/11(木) 23:03:06もうある
exeだし怪しすぎて確認してないけど
0418名無しさん＠お腹いっぱい。
2010/03/11(木) 23:47:44安全の為に仮想環境のxpで。
うん、普通に落とせる。
しかし、これはスクリプトをランチする為のだけに
4.6MBのファイルをインストールするのか。
つーか、アイコンをダブルクリックしたらコマンド画面で
ギャラリーのURLをペーストするだけ。
正直GUIもくそもねえ。
0419名無しさん＠お腹いっぱい。
2010/03/11(木) 23:56:49ウイルスチェックは？
0420名無しさん＠お腹いっぱい。
2010/03/12(金) 00:00:14テスト用環境だから、してない。
いざとなったらマスターからもどすだけ。
ほぼ素の状態のxpで、テストしている。
0421名無しさん＠お腹いっぱい。
2010/03/12(金) 00:43:06ウイルス注意
0422名無しさん＠お腹いっぱい。
2010/03/12(金) 01:21:22動作してるようで一枚も落とせなくて全俺が泣いた
0423名無しさん＠お腹いっぱい。
2010/03/12(金) 02:13:290424名無しさん＠お腹いっぱい。
2010/03/12(金) 06:41:56いろいろ厳しくなってるのか、
0425名無しさん＠お腹いっぱい。
2010/03/12(金) 07:39:03落とし続けてるので基本は変わってないと思う。
またHTMLの記述で重箱の隅をつつかれてるんじゃないか？
0426名無しさん＠お腹いっぱい。
2010/03/12(金) 12:40:39これは波があるので、いつも一定と言うわけじゃないし。
get.plに、今のところなにか問題が有るわけでも無い。
0427名無しさん＠お腹いっぱい。
2010/03/12(金) 12:57:52同条件で試したいから、どのページ落としたか教えてくれまいか
0428名無しさん＠お腹いっぱい。
2010/03/12(金) 13:11:430429名無しさん＠お腹いっぱい。
2010/03/12(金) 14:37:06で2枚目・・500Can't Connect to うんちゃらで停止ｵﾜﾀ
画像はブラウザでも見れない・・つかこんなのばっかり
環境のせいなのか、運悪く弾かれてるのか
一つも完成品拝んでないわ
0430名無しさん＠お腹いっぱい。
2010/03/12(金) 14:42:23そいつぁイエネェな、っていうか聞いてどうする。
ウチに来てウチのPCからウチのIPで接続するかい？
自分はプロクシなど使わずいつも素のIPで繋いでる。
最短30秒のインターバルを取ってるが帯域制限受けたら500秒待ち
から急速に時間を長くしながらリトライ。帯域制限解けたら徐々に
時間を短くしてゆく。(500秒も待てば解けてるけどね)
接続エラーの類は120秒待ちだ。
時間の調整値には特に意味はなく自分のせっかちさと我慢強さの折り合い。
今までの実績を大雑把に言えば1ページあたり87秒の
待ち時間だから素直に100秒おきに見に行へば良いっちゃ良いんだが。
0431名無しさん＠お腹いっぱい。
2010/03/12(金) 15:49:07まぁ名無しのexeなんて俺だって勘弁だけど
0432名無しさん＠お腹いっぱい。
2010/03/12(金) 15:55:33自分はperl読めんのだがやってることに大した違いはないと思う。
0433名無しさん＠お腹いっぱい。
2010/03/12(金) 15:59:06347 だけど、自作ツールだと確かに問題なさそーだけどな。
５０９はでるけど・・・
そこは、Proxy つかってなんとかやりくりしてる。
0434名無しさん＠お腹いっぱい。
2010/03/12(金) 17:42:18コネクトしないのは巡回リストに加えないルールにしてたけど
手動でやってみたら繋がりにくいけど繋がると速い串とかあるのな、まいった
使いたいけどconnectで落ちる串もリストに加わってしまう
0435名無しさん＠お腹いっぱい。
2010/03/12(金) 18:40:250436名無しさん＠お腹いっぱい。
2010/03/12(金) 20:02:43以前に普通にブラウザで画像が見れないものがある時点でおかしいのか
0437名無しさん＠お腹いっぱい。
2010/03/12(金) 21:45:08ステータス500で、帰ってくるプロクシサーバーはリトライ3回内で
接続出来ればオけで、そうでなければ次のプロクシを試してみる
って感じでやってます。
プロクシの評価まではやってないな。
0438437
2010/03/12(金) 21:49:51繋がりにくいけど、おｋなら結構快適。
ブルガリアかよ
0439名無しさん＠お腹いっぱい。
2010/03/12(金) 23:17:11んーいやconnectできるかどうかなので
send/recvとかwebサーバーステータスがどうとか以前の話なので
でもまあconnectの３回リトライは良いかもしれない
３回やって駄目なら鯖は存在しないってことでリストに加えないような仕方にしてみます
>>438そうそことか
0440名無しさん＠お腹いっぱい。
2010/03/13(土) 07:28:39ブラウザで見れないって...ページ自体がロードされないの？
画像がロードされないの？変な画像が表示されるの？
ページの下の方にある "Click here if the image fails loading"
でも駄目なの?
0441名無しさん＠お腹いっぱい。
2010/03/13(土) 12:51:36まず画像がズラーっと並ぶリスト的なページから
高確率で1枚目は見れます(今のところ100%？
で、2枚目・・ページ読み込んで画像が表示されるであろう領域が出ます
しばらくすると駄目だったのか、その領域が消えて○○.jpgみたいな文字だけポツン
後はそのページの広告とかお約束のが周りにといった具合
って＞"Click here if the image fails loading"
押したら見れたああああああああ
でもirvineは相変わらずorz
なんちゃらが見つかりました
なんちゃらにconnect失敗しました
ソケットエラー
0442名無しさん＠お腹いっぱい。
2010/03/13(土) 13:20:51irvineってのが良くわからんけど
ttp://www.vector.co.jp/soft/win95/net/se218138.html のこと?
なら原因と対策は作者に聞くのが良いかと...てかexeの中は判らんな。
0443名無しさん＠お腹いっぱい。
2010/03/13(土) 13:48:57まぁ道具ってのは得手不得手があるもんで
10徳ナイフじゃ刃が届かない所もあろう。
ここで言ってるスクリプトって言うのは
比較的手軽に専用の道具を作れる手段だよ。
学生で春休みで暇ならトライしてごらん。
この近所には初心者の質問に答えてくれる
板もあるだろうし。
最初にやることは押入れから昔使った英和辞書
を探し出すことだがな。
0444名無しさん＠お腹いっぱい。
2010/03/13(土) 14:07:01> 押したら見れたああああああああ
押したらURLが(そして落ちてくるHTMLが)どう変化するかくらい観察したら?
http://pc12.2ch.net/test/read.cgi/win/1261004900/490
0445名無しさん＠お腹いっぱい。
2010/03/13(土) 14:12:480446名無しさん＠お腹いっぱい。
2010/03/13(土) 14:15:060447名無しさん＠お腹いっぱい。
2010/03/13(土) 17:50:52今、ツンデレを目の当たりにしたこの感動!
0448名無しさん＠お腹いっぱい。
2010/03/13(土) 18:34:24あ・・ごめん
結局上のperlもget.plも入れたしコマンド自体の操作
設定も正しくスクリプト自体も動いてるはずなんだが
画像それ自体は落とせない状態が続いてるんだ
どろしー2入れたirvineもアレレで
>>444
頭冷やしてくる
0449名無しさん＠お腹いっぱい。
2010/03/13(土) 19:01:450450名無しさん＠お腹いっぱい。
2010/03/13(土) 19:46:46エラー内容を、うんちゃらとかアレレとか書かれても
エスパーじゃあるまいし。
0451名無しさん＠お腹いっぱい。
2010/03/13(土) 20:07:30まがりなりにもUNIX版だがカーネルのリビルドが趣味の人ばかりではなさそうだ。
0452名無しさん＠お腹いっぱい。
2010/03/13(土) 20:44:15今日は３００枚連続で落ちてきてる
サービスディかな？
0453名無しさん＠お腹いっぱい。
2010/03/13(土) 21:44:440454名無しさん＠お腹いっぱい。
2010/03/13(土) 21:59:36週末メンテの恩恵だと思うがいっしょに改変もやってくるから気をつけとくよ。
つかそれを期待しての週末ロングラン耐久テストしてるんだが。
0455452
2010/03/13(土) 22:27:59平均５００ｋｂくらいの画像だったんですけどね。
0456名無しさん＠お腹いっぱい。
2010/03/13(土) 23:37:23俺フレッツ・ISDNでシコシコ頑張ってるけど、
400〜500KBの画像だけど
毎回10枚強落としたところで制限に入るよ…。
転送量にしたらせいぜい5〜6MBってとこだぞ？
時間はそれなりに掛かっているが…。
0457名無しさん＠お腹いっぱい。
2010/03/13(土) 23:40:43ttp://www.sexydesktop.co.uk/index.htm
例えばエイミー・アダムスの場合だと、
ttp://www.sexydesktop.co.uk/amyadams.htm
をトップページとして合計3ページ分あります。
いずれの画像もstandard用とwidescreen用のものが用意されていて、
例えばトップページだと15種類30枚の画像があります。2ページ目も同じ。
どの女優の画像もそうなのですが、最後のページは残りの端数分だけ掲載されていて、
余った部分には別の女優のページへのリンクが挿入されるようになっています。
で、エイミー・アダムスの場合には、3ページ目に4種類8枚の画像があります。
合計34種類68枚の画像があるわけですが、これを一気に落としたいんです。
もちろんエイミー・アダムスは例です。本命はもっと枚数の多い女優の画像。
誰か助けて。
0458名無しさん＠お腹いっぱい。
2010/03/13(土) 23:44:53動的IPで契約してると、複数のIPを使える反面
同じアドレスプールにe-henユーザーが居るとバッティングしちゃうんだよね
0459名無しさん＠お腹いっぱい。
2010/03/13(土) 23:56:03酔っぱらった頭で読み解くと『余った部分に挿入されてる別の女優のページ』は
すっ飛ばしてエイミー・アダムスの画像だけ落としたいが、今使っているツール
では旨く行かない、もしくは現在手作業なので自動化したいって言う事？
その昔スーパーモデルブームの頃abpeｆ*に釘付けになった自分には良くわかるよ。
えっ一緒にするなって？
0460名無しさん＠お腹いっぱい。
2010/03/14(日) 00:10:34ピンポイントで規制してるんじゃないんだ？
アドレスの切り替え自体は切断→再接続の5秒程度で済むから
制限される度にパッパパッパと贅沢に使い捨てていってるんだけど、
とりあえず切り替えちゃえばまた10枚程度は普通に落とせるんだよね。
（最初から落とせない「ハズレ」もなければ、20枚も30枚も落とせる「アタリ」もない）
e-hentaiには、全国の悩めるツール使いのために
可及的速やかに帯域制限の発動条件をつまびらかにするよう
強く求める次第である。
0461452
2010/03/14(日) 01:11:19ざらっと見てみた。
jsつかいまくり、クッキー喰え、リファーよこせ。
めんどくせー
各ページへのリンク抽出まんどくさそう。
なによりも、俺の食指がうごかねえ。w
0462名無しさん＠お腹いっぱい。
2010/03/14(日) 01:38:000463名無しさん＠お腹いっぱい。
2010/03/14(日) 10:54:14どなたか、GetChinkoみたいなGUIツール作って下さい。
お願いします。
0464名無しさん＠お腹いっぱい。
2010/03/14(日) 11:42:13デチューンめんどくさいけど
つか１ＩＰで高速に画像だけ落としていくと規制（５０９待ち時間）強烈だぞ？
0465名無しさん＠お腹いっぱい。
2010/03/14(日) 12:04:21取っ掛かりが・・・
0466名無しさん＠お腹いっぱい。
2010/03/14(日) 12:13:23のどから手が出るほどの熱い気持ちがあれば使い方はきっと分かる!
0467名無しさん＠お腹いっぱい。
2010/03/14(日) 13:38:36proxy list で、ググればいくらでも出てくるぞ。
使えるかどうかは運次第
オラ場合はプロキシの杜から、全部落としてきて
総当たり戦
0468名無しさん＠お腹いっぱい。
2010/03/14(日) 17:00:170469名無しさん＠お腹いっぱい。
2010/03/14(日) 19:10:16良い意味でも悪い意味でも
0470名無しさん＠お腹いっぱい。
2010/03/14(日) 20:28:56最近の勢いは皆さん使える時間が増えたからかな
前スレは5年というから立ったのはバブル崩壊の頃か
本スレがあと5年続きますように
0471名無しさん＠お腹いっぱい。
2010/03/14(日) 21:54:38が従量というより時間で終了した感じ。今>>458に納得した。
次のチャンスを逃さぬようサービスタイムを検知してブースト掛けるモードを検討するよ。
0472名無しさん＠お腹いっぱい。
2010/03/14(日) 22:45:56細い串が逝っちゃうから微妙なんだよね（複数ＰＣで分けても回線が１本ならいっしょ）。
大学みたいに大量にＩＰ持ってればええんだけど。
一番良いのはe-henの有料ユーザー？になることだけど。串とかいらなそうだし。それ以前にzipで落とせるんだっけ？
■ このスレッドは過去ログ倉庫に格納されています