専用ブラウザを助けるプロクシ作らね？ [転載禁止]©5ch.net

**名無しさん＠お腹いっぱい。** · 2015/02/17(火) 13:35:14.21

専用ブラウザを作る訳じゃないから問題なし

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 02:20:09.21

>>563
まだ使ってるよ
結構な勢いでログがたまっていってる
今のうちってことでみんなスレをクロール気味に取得してるのかな

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 03:12:55.47

>>548
把握、If-Modified-Sinceヘッダが無いせいでエラーになってる臭い
少しお待ちを

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 06:32:39.71

こんなにホイホイ実行してくれる人がいるのか…
ゆうちゃんが殺人予告ウイルス(トロイ)を配布したくなったのもわかるわ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 06:56:30.66

>>543
お疲れ様です

APIの設定項目でauthUA、x2chUA、datUAを変更できるようにしてほしいです

参考　Python
http://codepad.org/fZxCpzCS

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 07:43:59.26

>>569
だよな

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 08:09:33.77

>>571
>>569
一応、ネットワークはモニタリングしてる。
100%じゃないけどな。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 08:22:36.73

というか怪しいなら普通に対応専ブラ使えば良いだけの話。
ここでgdgd文句書く必要もないよね。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 08:36:28.22

ﾌﾟﾛｸｼは興味あるけどexeなんか怖くて踏めるかって人はnode.jsのを使えばいいだけじゃね
ソース丸見えだしなｗ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 08:55:52.83

OllyDbgとILSpyは常備

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 09:02:58.70

>>573
対応専ブラは絶対に使いたくないから他の手段を探してるんじゃないの？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 09:24:14.00

>>528更新
http://www1.axfc.net/u/3426246?key=sage

>>548の問題を修正
起動時にSIDが取れないことがあるのを修正

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 11:00:39.02

>>577
乙ｶﾚﾁｬｰﾝ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 11:59:06.05

APIから304返ってくるようになってるね

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:11:33.84

＞ＥＲＲＯＲ：ブラウザを立ち上げなおしてみてください。
こんなの出た。どういうことだろ？
プロキシかまなしてないと出ない

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:24:55.16

API経由のプロクシって、認証どうしてるの?
正式にキーが発行されてるわけないし、法的に真っ黒な気がするんだけど。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:27:10.88

>>581
具体的にどの法律だろう

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:27:53.90

失礼。
540前後で話題になってましたね。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:29:35.14

>>573
まあなんかBB2Cの株主にメディアが入ってるだけでびっくりするくらいだから
いやなんか裏切られた感じがするｗ

>>574
ソース読まないのにソースが見れたら安心って人多いよね
工作員が意図的に安全だああって入ってるのを目をつぶって信じてそうで・・・
多分利用者が多ければほかの人の目があるからそれを期待してるんだろうけど差

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:31:34.11

皆さんこれがFUDです

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:32:21.46

普段ソース読まなくても
必要なときにいつでも読める状態になってるってのは大事よ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:40:38.67

何が仕込まれてるか分からないのは事実だが、ほとんどのソフトは同じ穴の狢
spyleなんか真っ先にブラックリスト行き
キーにさわらなくてもhtml串で十分だから問題ない
むしろ祭り当日が楽しみな位

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:44:36.46

IE11なんだけどAPIProxy刺すとネットに繋がらない・・・・・

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 12:55:21.98

IE11はdat取得しないのに何故使うの？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 13:01:59.53

IE11+壷で使ってるから

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 13:49:27.26

>>580
こちらでも2chAPIProxyとギコナビの組み合わせで書き込みしようとすると同じ状況になる
具体的な症状はこんな感じ
・2chAPIProxyのバージョン　2015/03/05
・ギコナビのバージョン　Version ﾊﾞﾀ70(1.70.1.860)
・読み込みのみ串設定ありで、書き込みには無し
・起動後数時間は問題ない
・書き込みをしようとすと「ＥＲＲＯＲ：ブラウザを立ち上げなおしてみてください。」
　が表示されて書き込みできないようになる
・ギコナビのみを再起動すると直る場合もあるが、それでもエラーとなる場合もある
・エラーが出る状態で、読み込みの串を外してもエラーのまま
・2chAPIProxyを一旦停止し、再び開始した場合(再起動はしていない)でもエラーのまま
・2chAPIProxyとギコナビを再起動すると問題が無くなる

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 13:52:18.78

IPアドレス変えてもセッションが引き続き使えてるっぽいんだけど
もしかして、セッションキーって複数のPCで共有できるんか？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 13:57:32.85

>>592
みんなで共有すれば匿名性がちょっぴり上がるよ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 13:58:25.35

がばがばにも程があんだろ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 13:58:47.98

>>592
変わらんよ
パッチ当てたv2cとかだと毎回変えてるらしいが

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 14:46:08.38

>>566
メイリオ入れてみたけど変わらず。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 14:58:10.29

>>591
当方はWindows7 HomePremium SP1(32bit)、ギコナビのバージョンは同じ
最初は書けるけどしばらくすると書けなくなる
ギコナビのみ再起動で直る。2chAPIProxyは立ち上げ直してない

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 15:06:29.57

テスト用にセッションをsession.txtに保存して再利用するnode.jsのAPI串のコードを上げてみる
http://pastebin.com/F4NUvPiS

↓が保存されたsession.txtで誰かコピペして同時に使えるかテストしてみてくれ
SESSION-ID=Monazilla/1.00:04821064l69285p47798k34783s78937w64083D87731g05860n50391i99746p2060K90408f76138V67684m12069Q35869b21324z0054R60753l75680b63143a49301o60313F09751P04126X55253N87002A42745866l70476 👀

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 15:12:12.03

なんか最後に変な文字入ったけど、その前までです

**v0.04** ◆Apixy9FSN2 · 2015/03/08(日) 15:39:57.48

ttp://www1.axfc.net/u/3426424
画像読み込みのバグ修正とか

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 15:48:03.34

>>569
この国ではウイルス配布すると逮捕されるやん

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 15:52:05.72

>>600
乙
早速入れ替えよう

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 16:12:33.77

>>600
画像正常に読めました。
ありがとうございました。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 16:25:09.96

>>598
そのIDでスレ読み込み出来た
使用専ブラはギコナビ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 16:45:13.54

>>598
うちでもそのセッションIDで読み込めた
bbs2chreaderスレに上がってたpythonプロキシの認証部分を上書きして試した

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 16:54:12.91

>>592
キャリアグレードNATとかでリクエストのたびに外に出ていくIPアドレスが
変わる環境もあるから、IPアドレス変わったからって拒否してたら
そういう環境で使えない。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 16:59:03.69

>>600
乙です

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 17:09:23.14

>>600
向こうのスレで報告した者です
ありがとうございます

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 17:12:45.81

>>604-605
テストありがとう
こちらも変わらず使えているので、セッション共有できそう
どうやってサーバー側でセッションを管理してるのか気になるわ

単純にIPを比較して弾けばサーバー側だけで対策できると思ったけど
>>606のような環境を持つstyle正規利用者への配慮を考えると、この穴を埋めるの大変そうですね（棒）

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 17:19:38.94

>>606
今使ってる楽天のsimがそれだわ
書き込むたびにid変わる

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 18:40:23.61

アプリだけでkey抜けなくすんのは超ウルトラスーパープログラマでも無理だよな

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 18:51:13.51

セッションキー配信鯖でも作ればもうAPIキー要らないな

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 19:35:43.29

いやdat取得リクエストの生成に要る

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 19:54:20.47

>>611
それが出来るなら次世代光ディスク業界に行けばスーパースターだよ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 21:22:29.38

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 21:35:38.54

>>528
>>452の者です
Xenoで 2chAPIProxy.20150307-2
念のため全て再読み込みかけたら
スレの読み終わり位置が正しくなりました
このまましばらく様子見させていただきます
ありがとうございました

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 21:43:27.90

>>616

>>577　が最新版だぞ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 22:14:57.65

スクレイピング禁止っつっても拡散しちゃえばこっちのもんだろ？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 22:39:47.99

>>618
スクレイピングブラウザ製作禁止って山下とAPI契約する人に対する規約だしな
そもそも契約する人はスクレイピングする必要が無いという謎

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 22:43:14.00

スクレイピング許可したら
浪人買わなくても見放題になって浪人が売れなくなるだろ
どこが謎なんだ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 22:51:38.21

>>617
ありあとっす

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 22:53:10.94

API契約する人に対する規約じゃなくて只の脅し

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 22:57:03.03

で、こんだけ大騒ぎしてｓｃが何事もなくクロール継続し続けてたら大笑いなんだが

◆0X7hT.k8kU · 2015/03/08(日) 22:58:53.77

>>623
scのクロール継続はread.cgiが生きてる限り保証されている

◆0X7hT.k8kU · 2015/03/08(日) 23:02:53.20

人大杉が無ければね。

◆0X7hT.k8kU · 2015/03/08(日) 23:06:56.12

トリ漏れた？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:08:07.21

スクレイピングは法的に禁止できる根拠も無いし、
ソフトウェア技術的に阻止することも不可能だし、
何の実効性も無い子供騙しの脅しだわな

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:13:42.21

>>627
>法的に禁止できる根拠も無いし

私人間で合意した内容を手の平返しした場合は債務不履行な。

>何の実効性も無い

API提供者との契約を打ち切り補償を求める理由にはなるわな。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:17:01.23

>>627
子供騙しでも実際に開発停止する専ブラもあるから効果は大きい

>>628
契約してない人を縛る法律が無いってことでしょ？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:18:25.05

そもそも契約していなければ契約事項を守る義務もない。
スクレイピングをするという事はAPIアクセスを正当な方法で出来ない＝契約なんかしていないわけだから、
>>628の理屈(契約している場合のみ有効)は端から通用しないわけだ。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:22:35.05

ウェブスクライピング禁止は契約者への>>620が理由だっつってんだろ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:24:25.20

そもそもHTMLレンダリングってスクレイピングそのものなわけで、契約してない相手も禁止できるとしたら
IEもChromeも2ch.netをスクレイピングできるので山下氏によって開発禁止されてしまう。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:27:28.83

>>629-630
そもそも、「スクレイピング禁止」は、>>619が言う通りAPI提供契約者相手の話じゃないの？
で、>>619は「APIが使えるならスクレイピングは不要じゃないか？」という旨の疑問を抱くが、
>>620が「浪人との兼ね合いではないのか？」と指摘するわけだ。
そこからの流れだから、「スクレイピング禁止」がAPI提供を受けない人を縛るなんて話はどこからも出てこないだろう？
話がズレまくりじゃないか？

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:27:41.66

>>629
ネット上から不特定多數のアクセスを想定してなくて、特定の誰かがアクセス出来るようなデータを
ハッキングして勝手に読み取るようなものは刑事罰の対象になるね
まぁそれも幾つかの要件の下にだけど、割と相対的な判断になるかな

ま、スクレイピングといっても態様は様々で

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:28:46.62

そもそもあの契約書の「専用ブラウザ」の定義がぐだぐだすぎて

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:34:00.71

厳密な定義はポセイドンさんの心の中にのみ存在しています

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:37:12.44

スクレイピングは違法じゃないし取得したデータを個人で使う分にはなんの違法性もない
ただしスクレイピングしたデータをみんなが見られる状態で公開したら著作権侵害でAUTO

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:41:56.83

本来は山下からAPI利用規約文書を送られた作者しか知らない情報
作者にだけ課された制限事項だ
当然その他の人々はそんな事は知らないから関係ない
知らされてない条件など守る守らない以前の問題だと思うが

何を深く考えているんだ

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:43:14.26

>>637
scが現在進行形でやってて訴えられてないんだから、問題あるまい

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:44:44.18

まぁ素人法律家になった気分のみなさんが願望でいくら吠えたところで
無防備にアクセス可能となってるデータですら、アクセスして有罪になってる事例があるんだよね

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:50:02.20

スクレイパーさん達・・・

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:53:32.13

もともと契約する気もなく既存のブラウザを使えるような串作ろうってスレなんだから、
契約者の規約なんて知ったことじゃないだろ。スクレイピング禁止なんて存在しないも同然、というか存在しない

>>640
すぐその事例出してくるけど、外部との通信はWebブラウザとまったく同じ動作を目指す、もしくは
ブラウザをフックして通信はWebブラウザ自体がやる（初期に出たHTML2DAT？）という仕様なんだから、
検知しようもなければその懸念は100%あり得ない
scのクロールみたいに、全板全スレ対象に定期的に取得する動きなんかは流石に検出可能で、IPブロックとのいたちごっこだけど
また話ひっくり返されると面倒くさいから念のため書くけどスクレイピングに関する話ね

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:53:34.38

何か明日の昼2時以降にAPI非対応ブラウザを締め出すみたいな話が出てきてるな。

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:53:37.42

>>638
お知らせされてる条件を問題にしている
http://developer.2ch.net/

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:55:42.22

>>641
sc raper
意味深だな

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:57:23.44

>>642
すぐその事例というか、それが判例だから
世間一般でどう判断されるかが問題なんであって、願望を含んだ主観で主張しても意味はないでしょ
先にも書いたように、態様は様々だから、引っかかるスクレイピングもあれば、そうでないのもあるってだけ
scに関していえば、netが被害届出してないから問題になってないんじゃないかな
まぁ本質的には民事で片付けてよっていうとこだし

**名無しさん＠お腹いっぱい。** · 2015/03/08(日) 23:59:29.50

>>644
専用ブラウザってなんだ？
ローカルプロクシは範疇にはいるのか？

ってところはどうなんでしょうね

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:14:54.42

>>646
似て非なる案件を先例のように言われてもな。

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:15:40.78

>>646
だから世間一般の判断とか判例とか関係なく、どうやってスクレイピングとそれ以外の動作を見分けるって言うんだよ。「技術的な話」
態様は様々とか言っても、このスレは専ブラにデータ渡すだけの串スレなんだから、引っかかる（検知できる）ようなものは対象としてないし必要もない
向こうに検出できなければ存在しないも同然で、存在しないなら問題にもならない
scは検出出来て存在するから問題にされていたちごっこやってるだけ

法律の話にすり替えて危険煽ろうってのを定期的に見るけど、技術的に一般的なアクセスと区別できないのに何が問題に出来るんだ
配布もしないで自作でやってる人も多いっぽいこのスレで。全然難しい物じゃないからな
Webブラウザと全く同じHTTPリクエストを組み立てて、常識的な範囲内で投げて受け取るだけのものを、どうやって検出して問題に出来る？
複数をまとめて更新するにしても、Webブラウザのブックマークを一括で開いたりまとめて更新チェックするアドオン走らせるのと動作は同じだしな

**548** · 2015/03/09(月) 00:16:14.54

>>577
かちゅ～しゃでも問題なく使えるようになりました。
ありがとうございました。

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:16:59.52

>>640
某図書館へのアクセスが（ソフト屋の仕様外だから）DoS攻撃扱いされたって奴なら、あれはどう見ても冤罪なんだよな。
もしあれで有罪確定しようものなら日本から技術者が出ていく理由にされちまうぞ。というか逃げられて当然。

しかもあれは、原因を良く調べもせずに警察が被害届を出させたというから、
警察によるでっち上げって線が濃いらしいが。

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:17:35.59

1秒に1アクセスだかのクローリングの例出されてもなぁ

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:22:12.85

>>643
おじちゃん酒ガブ飲みして馬券買いすぎだよｗ

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:23:48.50

Apixyと2chAPIproxyのどちら入れようか迷うわ
Vista32bit
Live2ch
の化石構成だとどっちがいいんだろう

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:32:55.21

>>651
ま、そういうことだけど、結局そんなんでもダメージ負っちゃうからね
いくら正義だと唱えたところで、こういう現実があるのが今の日本なんですわ
その辺の所は了解しておいた方がいいかと

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:44:03.84

>>655
あれと同じ事を繰り返したら、警察の方がダメージでかいけどな

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 00:45:49.29

>>591 >>597
こちらに差し替えて試してみてください
http://www1.axfc.net/u/3426810?key=sage

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 01:24:08.29

>>656
実際はその事例だけじゃないから

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 02:07:07.25

node.js用をバッチファイルで自動起動させて使ってます。
（ついでにタスクトレイツールを使ってトレイに収納）
便利なツールを作ってくれる製作者に感謝 (´・ω・｀)

**432** · 2015/03/09(月) 03:02:48.20

>>543 を試してみたら、
＞2015/03/09 02:40:09.0656 : [ Main ] APIセッションID 取得開始.
＞2015/03/09 02:40:09.0765 : [ Main ] APIセッションID 取得失敗.
となった。
2chapixy がうまくいかないのも同じことが起きてるのかなあ。

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 03:09:35.65

チン毛　「オレは他の事例を知っている知っているけどお前らには教えない」
チン毛　「お前らは警察に逮捕されるから」

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 03:17:25.75

>>657
自分も同様だけど、直らないです。
うちの場合、ギコナビのプロキシを一時的にオフにすれば書けるみたい。
書き込みプロキシを設定してなくても起きるってことは、
ギコナビが書き込み処理のどこかで
ダウンロード用プロキシを使っちゃってるんでしょうかね。

あと、>>448 によると、404 からの振り替えはしてないそうですが、
SID の取得に失敗した場合どうなりますか？
>>660 な状況なので、2chAPIProxy だけ読めてるのが逆に不安にｗ

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 03:20:24.49

チン毛　「２ちゃんは不特定多數のアクセスを想定しなくなったからお前らが２ちゃんにアクセスすると逮捕な」

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 05:40:57.53

2chAPIの認証
CTもHBも空文字列で通るんだが
意味わからん

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 06:02:01.49

まだdat止めてないし現状だと認証に失敗してもスルーさせてるって事なんかな
よくわからんなｗ

**名無しさん＠お腹いっぱい。** · 2015/03/09(月) 06:35:32.66

>>577
2chApiProxy、起動と同時に開始にチェックが入った状態で起動すると、Windowsのスタートボタンの真上あたりに最小化されたウインドウが残ります
チェックを入れてない状態で起動した後に最小化するとこの現象は起きないです
Windows7 64bit+かちゅ～しゃです