専用ブラウザを助けるプロクシ作らね? [転載禁止]©5ch.net
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2015/02/17(火) 13:35:14.21ID:D7asMS8F00611名無しさん@お腹いっぱい。
2015/03/08(日) 18:40:23.61ID:+9fFEdzv00612名無しさん@お腹いっぱい。
2015/03/08(日) 18:51:13.51ID:1S4PBJm100613名無しさん@お腹いっぱい。
2015/03/08(日) 19:35:43.29ID:qVQ9gnRw00614名無しさん@お腹いっぱい。
2015/03/08(日) 19:54:20.47ID:rD9TNb4p0それが出来るなら次世代光ディスク業界に行けばスーパースターだよ
0615名無しさん@お腹いっぱい。
2015/03/08(日) 21:22:29.38ID:jTTiXlo400616名無しさん@お腹いっぱい。
2015/03/08(日) 21:35:38.54ID:HNxOl3ZQ0>>452の者です
Xenoで 2chAPIProxy.20150307-2
念のため全て再読み込みかけたら
スレの読み終わり位置が正しくなりました
このまましばらく様子見させていただきます
ありがとうございました
0617名無しさん@お腹いっぱい。
2015/03/08(日) 21:43:27.90ID:Ccr28tL20>>577 が最新版だぞ
0618名無しさん@お腹いっぱい。
2015/03/08(日) 22:14:57.65ID:PUNRx0AM00619名無しさん@お腹いっぱい。
2015/03/08(日) 22:39:47.99ID:fTD02lx10スクレイピングブラウザ製作禁止って山下とAPI契約する人に対する規約だしな
そもそも契約する人はスクレイピングする必要が無いという謎
0620名無しさん@お腹いっぱい。
2015/03/08(日) 22:43:14.00ID:tuv2nuo30浪人買わなくても見放題になって浪人が売れなくなるだろ
どこが謎なんだ
0621名無しさん@お腹いっぱい。
2015/03/08(日) 22:51:38.21ID:HNxOl3ZQ0ありあとっす
0622名無しさん@お腹いっぱい。
2015/03/08(日) 22:53:10.94ID:x+8G+rvp00623名無しさん@お腹いっぱい。
2015/03/08(日) 22:57:03.03ID:xrW19VMy00624 ◆0X7hT.k8kU
2015/03/08(日) 22:58:53.77ID:N873vadX0scのクロール継続はread.cgiが生きてる限り保証されている

トリ漏れた?
0627名無しさん@お腹いっぱい。
2015/03/08(日) 23:08:07.21ID:vlQIs2jU0ソフトウェア技術的に阻止することも不可能だし、
何の実効性も無い子供騙しの脅しだわな
0628名無しさん@お腹いっぱい。
2015/03/08(日) 23:13:42.21ID:49/qV7y10>法的に禁止できる根拠も無いし
私人間で合意した内容を手の平返しした場合は債務不履行な。
>何の実効性も無い
API提供者との契約を打ち切り補償を求める理由にはなるわな。
0629名無しさん@お腹いっぱい。
2015/03/08(日) 23:17:01.23ID:x+8G+rvp0子供騙しでも実際に開発停止する専ブラもあるから効果は大きい
>>628
契約してない人を縛る法律が無いってことでしょ?
0630名無しさん@お腹いっぱい。
2015/03/08(日) 23:18:25.05ID:69uNUzYP0スクレイピングをするという事はAPIアクセスを正当な方法で出来ない=契約なんかしていないわけだから、
>>628の理屈(契約している場合のみ有効)は端から通用しないわけだ。
0631名無しさん@お腹いっぱい。
2015/03/08(日) 23:22:35.05ID:tuv2nuo300632名無しさん@お腹いっぱい。
2015/03/08(日) 23:24:25.20ID:605/mtoh0IEもChromeも2ch.netをスクレイピングできるので山下氏によって開発禁止されてしまう。
0633名無しさん@お腹いっぱい。
2015/03/08(日) 23:27:28.83ID:49/qV7y10そもそも、「スクレイピング禁止」は、>>619が言う通りAPI提供契約者相手の話じゃないの?
で、>>619は「APIが使えるならスクレイピングは不要じゃないか?」という旨の疑問を抱くが、
>>620が「浪人との兼ね合いではないのか?」と指摘するわけだ。
そこからの流れだから、「スクレイピング禁止」がAPI提供を受けない人を縛るなんて話はどこからも出てこないだろう?
話がズレまくりじゃないか?
0634名無しさん@お腹いっぱい。
2015/03/08(日) 23:27:41.66ID:y3yKCsfe0ネット上から不特定多數のアクセスを想定してなくて、特定の誰かがアクセス出来るようなデータを
ハッキングして勝手に読み取るようなものは刑事罰の対象になるね
まぁそれも幾つかの要件の下にだけど、割と相対的な判断になるかな
ま、スクレイピングといっても態様は様々で
0635名無しさん@お腹いっぱい。
2015/03/08(日) 23:28:46.62ID:0DFC54op00636名無しさん@お腹いっぱい。
2015/03/08(日) 23:34:00.71ID:/rOhqVSR00637名無しさん@お腹いっぱい。
2015/03/08(日) 23:37:12.44ID:cig9lDUN0ただしスクレイピングしたデータをみんなが見られる状態で公開したら著作権侵害でAUTO
0638名無しさん@お腹いっぱい。
2015/03/08(日) 23:41:56.83ID:VJfHaO4p0作者にだけ課された制限事項だ
当然その他の人々はそんな事は知らないから関係ない
知らされてない条件など守る守らない以前の問題だと思うが
何を深く考えているんだ
0639名無しさん@お腹いっぱい。
2015/03/08(日) 23:43:14.26ID:rD9TNb4p0scが現在進行形でやってて訴えられてないんだから、問題あるまい
0640名無しさん@お腹いっぱい。
2015/03/08(日) 23:44:44.18ID:y3yKCsfe0無防備にアクセス可能となってるデータですら、アクセスして有罪になってる事例があるんだよね
0641名無しさん@お腹いっぱい。
2015/03/08(日) 23:50:02.20ID:1XroBIgl00642名無しさん@お腹いっぱい。
2015/03/08(日) 23:53:32.13ID:vaPitHVY0契約者の規約なんて知ったことじゃないだろ。スクレイピング禁止なんて存在しないも同然、というか存在しない
>>640
すぐその事例出してくるけど、外部との通信はWebブラウザとまったく同じ動作を目指す、もしくは
ブラウザをフックして通信はWebブラウザ自体がやる(初期に出たHTML2DAT?)という仕様なんだから、
検知しようもなければその懸念は100%あり得ない
scのクロールみたいに、全板全スレ対象に定期的に取得する動きなんかは流石に検出可能で、IPブロックとのいたちごっこだけど
また話ひっくり返されると面倒くさいから念のため書くけどスクレイピングに関する話ね
0643名無しさん@お腹いっぱい。
2015/03/08(日) 23:53:34.38ID:uyAz6dHo00644名無しさん@お腹いっぱい。
2015/03/08(日) 23:53:37.42ID:x+8G+rvp0お知らせされてる条件を問題にしている
http://developer.2ch.net/
0645名無しさん@お腹いっぱい。
2015/03/08(日) 23:55:42.22ID:tuv2nuo30sc raper
意味深だな
0646名無しさん@お腹いっぱい。
2015/03/08(日) 23:57:23.44ID:y3yKCsfe0すぐその事例というか、それが判例だから
世間一般でどう判断されるかが問題なんであって、願望を含んだ主観で主張しても意味はないでしょ
先にも書いたように、態様は様々だから、引っかかるスクレイピングもあれば、そうでないのもあるってだけ
scに関していえば、netが被害届出してないから問題になってないんじゃないかな
まぁ本質的には民事で片付けてよっていうとこだし
0647名無しさん@お腹いっぱい。
2015/03/08(日) 23:59:29.50ID:/rOhqVSR0専用ブラウザってなんだ?
ローカルプロクシは範疇にはいるのか?
ってところはどうなんでしょうね
0648名無しさん@お腹いっぱい。
2015/03/09(月) 00:14:54.42ID:h9TWib8k0似て非なる案件を先例のように言われてもな。
0649名無しさん@お腹いっぱい。
2015/03/09(月) 00:15:40.78ID:lDjtZ0HS0だから世間一般の判断とか判例とか関係なく、どうやってスクレイピングとそれ以外の動作を見分けるって言うんだよ。「技術的な話」
態様は様々とか言っても、このスレは専ブラにデータ渡すだけの串スレなんだから、引っかかる(検知できる)ようなものは対象としてないし必要もない
向こうに検出できなければ存在しないも同然で、存在しないなら問題にもならない
scは検出出来て存在するから問題にされていたちごっこやってるだけ
法律の話にすり替えて危険煽ろうってのを定期的に見るけど、技術的に一般的なアクセスと区別できないのに何が問題に出来るんだ
配布もしないで自作でやってる人も多いっぽいこのスレで。全然難しい物じゃないからな
Webブラウザと全く同じHTTPリクエストを組み立てて、常識的な範囲内で投げて受け取るだけのものを、どうやって検出して問題に出来る?
複数をまとめて更新するにしても、Webブラウザのブックマークを一括で開いたりまとめて更新チェックするアドオン走らせるのと動作は同じだしな
0651名無しさん@お腹いっぱい。
2015/03/09(月) 00:16:59.52ID:Hn/Ldw3I0某図書館へのアクセスが(ソフト屋の仕様外だから)DoS攻撃扱いされたって奴なら、あれはどう見ても冤罪なんだよな。
もしあれで有罪確定しようものなら日本から技術者が出ていく理由にされちまうぞ。というか逃げられて当然。
しかもあれは、原因を良く調べもせずに警察が被害届を出させたというから、
警察によるでっち上げって線が濃いらしいが。
0652名無しさん@お腹いっぱい。
2015/03/09(月) 00:17:35.59ID:hFcrFCq/00653名無しさん@お腹いっぱい。
2015/03/09(月) 00:22:12.85ID:xierP81O0おじちゃん酒ガブ飲みして馬券買いすぎだよw
0654名無しさん@お腹いっぱい。
2015/03/09(月) 00:23:48.50ID:DvW4avMq0Vista32bit
Live2ch
の化石構成だとどっちがいいんだろう
0655名無しさん@お腹いっぱい。
2015/03/09(月) 00:32:55.21ID:BW/A9CdN0ま、そういうことだけど、結局そんなんでもダメージ負っちゃうからね
いくら正義だと唱えたところで、こういう現実があるのが今の日本なんですわ
その辺の所は了解しておいた方がいいかと
0656名無しさん@お腹いっぱい。
2015/03/09(月) 00:44:03.84ID:hVS0qZ+v0あれと同じ事を繰り返したら、警察の方がダメージでかいけどな
0657名無しさん@お腹いっぱい。
2015/03/09(月) 00:45:49.29ID:bwVc8Lr00こちらに差し替えて試してみてください
http://www1.axfc.net/u/3426810?key=sage
0658名無しさん@お腹いっぱい。
2015/03/09(月) 01:24:08.29ID:BW/A9CdN0実際はその事例だけじゃないから
0659名無しさん@お腹いっぱい。
2015/03/09(月) 02:07:07.25ID:CmDg7Jjx0(ついでにタスクトレイツールを使ってトレイに収納)
便利なツールを作ってくれる製作者に感謝 (´・ω・`)
0660432
2015/03/09(月) 03:02:48.20ID:XYlzx+3N0>2015/03/09 02:40:09.0656 : [ Main ] APIセッションID 取得開始.
>2015/03/09 02:40:09.0765 : [ Main ] APIセッションID 取得失敗.
となった。
2chapixy がうまくいかないのも同じことが起きてるのかなあ。
0661名無しさん@お腹いっぱい。
2015/03/09(月) 03:09:35.65ID:FcvZagLq0チン毛 「お前らは警察に逮捕されるから」
0662名無しさん@お腹いっぱい。
2015/03/09(月) 03:17:25.75ID:XYlzx+3N0自分も同様だけど、直らないです。
うちの場合、ギコナビのプロキシを一時的にオフにすれば書けるみたい。
書き込みプロキシを設定してなくても起きるってことは、
ギコナビが書き込み処理のどこかで
ダウンロード用プロキシを使っちゃってるんでしょうかね。
あと、>>448 によると、404 からの振り替えはしてないそうですが、
SID の取得に失敗した場合どうなりますか?
>>660 な状況なので、2chAPIProxy だけ読めてるのが逆に不安にw
0663名無しさん@お腹いっぱい。
2015/03/09(月) 03:20:24.49ID:FcvZagLq00664名無しさん@お腹いっぱい。
2015/03/09(月) 05:40:57.53ID:zECVo8QS0CTもHBも空文字列で通るんだが
意味わからん
0665名無しさん@お腹いっぱい。
2015/03/09(月) 06:02:01.49ID:lewRjTuz0よくわからんなw
0666名無しさん@お腹いっぱい。
2015/03/09(月) 06:35:32.66ID:ocQSG5rD02chApiProxy、起動と同時に開始にチェックが入った状態で起動すると、Windowsのスタートボタンの真上あたりに最小化されたウインドウが残ります
チェックを入れてない状態で起動した後に最小化するとこの現象は起きないです
Windows7 64bit+かちゅ〜しゃです
0667名無しさん@お腹いっぱい。
2015/03/09(月) 06:58:36.39ID:oog6l57f0もしかして: 直せない
0668名無しさん@お腹いっぱい。
2015/03/09(月) 07:11:45.86ID:jr6l7Psw0確かになるな。あとこれ最小化した状態で起動できないのかな
0669名無しさん@お腹いっぱい。
2015/03/09(月) 08:30:31.40ID:yU/nR/w50> しかもあれは、原因を良く調べもせずに警察が被害届を出させたというから、
ホイホイ言いなりとなると、ますますソフト会社の技術力が怪しくなるじゃないか
問題は2chが関わると、人権派弁護士や高名が学者様が向こうにつく可能性が高いって事なんだよな
0670名無しさん@お腹いっぱい。
2015/03/09(月) 08:36:56.84ID:OFuPd8AV0【 スキン 】 2ch
【 IE & Flash 】 IE:9.0.8112.16421 Flash:16,0,0,305
【 Windows 】 Windows 7 (Service Pack 1) Build: 7601
【その他設定】 DOMStorage=0 ReloadType=1
【各認証状態】 US - 1 API - ON Ronin - OFF BE - OFF
【 FWソフト 】 AVGフリーエディション
【 不具合 】 Live2ch が起動できない
【 エラー 】 なんか出たけど覚えてないです、ごめんなさい
【詳しい内容 】
読み込みのみにプロクシ8080(localhost オミトロン)
を設定したところ起動直後に強制終了するようになった
広告をローカルプロクシで消すと起動できないようになってるのかも?
現状はunreg のインストールで無事復帰
0671名無しさん@お腹いっぱい。
2015/03/09(月) 08:40:58.01ID:OFuPd8AV0失礼しましたー
0672名無しさん@お腹いっぱい。
2015/03/09(月) 09:02:18.11ID:/9ygLBuD00673名無しさん@お腹いっぱい。
2015/03/09(月) 09:24:23.17ID:1v8jzhvv0このまま頑張ってここに居座った方がスキルも上がるし連帯感もでるってもんだ
0674名無しさん@お腹いっぱい。
2015/03/09(月) 09:42:11.51ID:tIGNV7H70それでもこだまに向かって喋るだけで返事の返ってこないscよりは遥かにマシだが…
0675名無しさん@お腹いっぱい。
2015/03/09(月) 09:53:36.07ID:oXTHfZDi00676名無しさん@お腹いっぱい。
2015/03/09(月) 10:03:14.65ID:W2t5D50B0あるある
最初独り言だったんだけど今は4人位になった(笑)
0677名無しさん@お腹いっぱい。
2015/03/09(月) 10:04:43.55ID:zbGiSXSx0旧来Janeとかで見えるようにするプロクシだよね?
ラズパイで動くプロクシのコード貼ってよ
使い道がなくて困ってる
0678名無しさん@お腹いっぱい。
2015/03/09(月) 10:05:21.38ID:eaWqmYrJ00679432
2015/03/09(月) 10:10:40.72ID:XYlzx+3N0そういや、IE 関係なさそうでもネットアクセスするプログラムには
色々影響出るんだったなと、インターネットオプションを眺めていたら、
詳細設定の TLS 1.0 がオフになっていたのでオンにしたところ、
Prxy2ch で SID 取得に成功するようになり、2chapixy もうまくいくようになったー。
0680名無しさん@お腹いっぱい。
2015/03/09(月) 10:24:35.18ID:XYlzx+3N0API 読みだとそんなことはない。
0681名無しさん@お腹いっぱい。
2015/03/09(月) 10:30:52.08ID:bIrjWpJy00682名無しさん@お腹いっぱい。
2015/03/09(月) 10:34:17.30ID:vhBfjMl30ttp://prokusi.wiki.fc2.com/wiki/%E3%83%88%E3%83%83%E3%83%97%E3%83%9A%E3%83%BC%E3%82%B8
html→datの変換は、perlとc#とfidderとGoogle App Scriptのコードが
APIはphpとnode.jsとpython+twistedのコードがある
これでも動かせないってのなら、無いのはラズパイの使い道じゃなく使いこなせる脳味噌だろ
0683名無しさん@お腹いっぱい。
2015/03/09(月) 10:43:30.58ID:bwVc8Lr00dat読み直しても無理?
SIDの取得に失敗すると、404が帰るはず
0684名無しさん@お腹いっぱい。
2015/03/09(月) 11:12:17.45ID:XYlzx+3N0>dat読み直しても無理?
これは書き込みについてですか?
実はあのあと別スレで書けたりしてよくわからなくなってます。
必ずなるわけではないのか、そもそもうちの環境が何かおかしいのか。
>>591 >>597 さんの反応を待ってみてください。横からややこしくしてすみません。
>SIDの取得に失敗すると、404が帰るはず
ということは、ちゃんと API で読めてるわけですね。
そのへんの処理を .Net は独自にやってて、
インターネットオプションの影響を受けないのかも。
0685名無しさん@お腹いっぱい。
2015/03/09(月) 12:59:02.56ID:A9WIVfok0perlでいいならhtml→datの糞みたいなもの作ったが
0686名無しさん@お腹いっぱい。
2015/03/09(月) 13:04:18.20ID:Nh0Pa69V0一時的に移動するのはアリかもしれんよ
あまりに人が減ったらjimも考えなおすかもしれん
0687名無しさん@お腹いっぱい。
2015/03/09(月) 13:13:51.28ID:67rKH6s20ひろゆきみたいに競合潰すかもしれないけどな
0688名無しさん@お腹いっぱい。
2015/03/09(月) 14:13:54.00ID:0eSUbKLS00689名無しさん@お腹いっぱい。
2015/03/09(月) 14:43:05.27ID:I9IzZjbI0連動はLinuxの方が簡単だけど
0690名無しさん@お腹いっぱい。
2015/03/09(月) 14:55:42.85ID:ZUO5NF+00乙です
1000になってるスレを読もうとするとデータ落ちしてなくても
例えば400スレぐらい読み込んでた途中まででそれ以上
更新しても読み込まれないことがありました
あと画像の読み込みは正常になりましたが複数読み込もうとすると
ところどころエラーが出るようです
単発で読み込み直せば大丈夫ですが
0691名無しさん@お腹いっぱい。
2015/03/09(月) 15:50:49.08ID:d7Uen3jo0目なんで、セッションIDの寿命が24時間ってことなのかな
0692名無しさん@お腹いっぱい。
2015/03/09(月) 15:57:08.43ID:r7+Y6FRk00693名無しさん@お腹いっぱい。
2015/03/09(月) 16:05:51.81ID:rQIk2iBT0あれはSIDに有効期限が含まれてた
0694名無しさん@お腹いっぱい。
2015/03/09(月) 18:08:06.36ID:gb0Qg86V00695名無しさん@お腹いっぱい。
2015/03/09(月) 18:15:37.57ID:7lNjsQTH0なんとなく
0696名無しさん@お腹いっぱい。
2015/03/09(月) 18:21:33.80ID:za51Hzow00697名無しさん@お腹いっぱい。
2015/03/09(月) 18:24:25.64ID:bIrjWpJy0んじゃ板作ってくれ
0698名無しさん@お腹いっぱい。
2015/03/09(月) 18:31:30.21ID:pPfLrfgA0>>551
時間取得関数をロケール適用のものにかえました。
>>570
セッション取得時にauthUA、x2chUAあればそれで取得できるようにしてみました。
こちらからダウンロードできます。
Windows 32ビット http://www1.axfc.net/u/3427128
WindowsMobile5 PocketPC2003 ARMV4 http://www1.axfc.net/u/3427130
変更点
api設定にauthUA,authx2chUA追加
セッションID取得時authUA,authx2chUA両方あればUser-Agent: X-2ch-UA: ヘッダに指定
なければdatUAのみUser-Agent: ヘッダに指定
※DATファイル取得はHTML,APIともにdatUA使用
時間取得のロケール適用修正(WMのみ)
バッファサイズ変更
0699名無しさん@お腹いっぱい。
2015/03/09(月) 18:31:55.32ID:7lNjsQTH0作ってもいいなら作るけど
他に作りたい人いますかー
0700名無しさん@お腹いっぱい。
2015/03/09(月) 18:47:22.25ID:xNj/Mlxu0もしここが使えなくなったらその時はログがあるscでいいでしょ
0701名無しさん@お腹いっぱい。
2015/03/09(月) 18:56:48.46ID:Et/hBAX40横からですがいただきました 乙です win7x64 cyberfox 35.0.2+chaika1.73で動作しました
なかなかいい感じです アイコンの「94」がいいっすねw
0702名無しさん@お腹いっぱい。
2015/03/09(月) 19:33:39.58ID:7lNjsQTH00703名無しさん@お腹いっぱい。
2015/03/09(月) 19:56:16.40ID:hGzf0dfR00704名無しさん@お腹いっぱい。
2015/03/09(月) 19:58:05.00ID:hGzf0dfR00705名無しさん@お腹いっぱい。
2015/03/09(月) 20:03:25.91ID:9kNfrOxk0したらば以降も買収されまくって転々としてなかった?
0706名無しさん@お腹いっぱい。
2015/03/09(月) 20:07:09.59ID:2CfccW1q0今もしたらば掲示板じゃね
0707名無しさん@お腹いっぱい。
2015/03/09(月) 20:07:50.12ID:r7+Y6FRk00708名無しさん@お腹いっぱい。
2015/03/09(月) 20:11:01.20ID:9kNfrOxk0JBBSと仕様が違って専ブラで対応できなかったんじゃなかったかな?
0709名無しさん@お腹いっぱい。
2015/03/09(月) 20:48:24.43ID:Ln6SnCJ200710名無しさん@お腹いっぱい。
2015/03/09(月) 21:11:54.41ID:7fH8rq2w00711名無しさん@お腹いっぱい。
2015/03/09(月) 21:19:16.45ID:A9WIVfok018080だけどソースのLISTEN_PORTを18080から8080に変えた方がきれいだと思う
あとそれ修正してるからもうちょい待って
■ このスレッドは過去ログ倉庫に格納されています