専用ブラウザを助けるプロクシ作らね? [転載禁止]©5ch.net
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。
2015/02/17(火) 13:35:14.21ID:D7asMS8F00002名無しさん@お腹いっぱい。
2015/02/17(火) 13:37:41.60ID:FnpFJPOQ00003名無しさん@お腹いっぱい。
2015/02/17(火) 14:03:37.12ID:41fzODbV0専用じゃなきゃいいっぽいし
0004名無しさん@お腹いっぱい。
2015/02/17(火) 14:06:10.39ID:DkiqvBEU00005名無しさん@お腹いっぱい。
2015/02/17(火) 15:22:27.10ID:xNg1dS/z0もうすでに作っている人がいる件
ためしてないけど
0006名無しさん@お腹いっぱい。
2015/02/17(火) 15:39:29.55ID:D7asMS8F0これか
0007名無しさん@お腹いっぱい。
2015/02/17(火) 15:45:03.45ID:98UwR0ug0HTMLは難読化されるやろなぁ
0008名無しさん@お腹いっぱい。
2015/02/17(火) 16:07:08.51ID:acSeWK1900009名無しさん@お腹いっぱい。
2015/02/17(火) 16:28:46.24ID:EdcJZYwk0もうねえけど
0010名無しさん@お腹いっぱい。
2015/02/17(火) 16:32:40.04ID:HJ9WxDwH0sc
0011名無しさん@お腹いっぱい。
2015/02/17(火) 17:56:30.05ID:K8XLGPeJ0プロトコルもフォーマットの元仕様も決まってるんだし。負荷は更にエライ事になるが。
あとはアレだな。そうなるとHTMLも時々変えて来るだろうからどうやって付いて行くかだな。
0012名無しさん@お腹いっぱい。
2015/02/17(火) 18:29:47.31ID:D7asMS8F00013名無しさん@お腹いっぱい。
2015/02/17(火) 18:55:29.36ID:0gXITrNO0これだろうな
いたちごっこになりそう
0014名無しさん@お腹いっぱい。
2015/02/17(火) 19:37:30.57ID:dgLHR73y0今時目欄なんてほぼ機能してないし無視しても問題少なそうだけど
0015名無しさん@お腹いっぱい。
2015/02/17(火) 19:41:56.52ID:D7asMS8F0http://pastebin.com/Mw0kSGHU C#
http://pastebin.com/b6RR21Rf perl
パースの見本があるので参考にすると良い
htmlの最後に書いてあるjsで復号化してるので
そっちを参考しても良い
0016名無しさん@お腹いっぱい。
2015/02/17(火) 19:57:37.95ID:dgLHR73y0js見てみる
0017名無しさん@お腹いっぱい。
2015/02/17(火) 20:15:20.15ID:Tk0C/ZCM0ちょっとしたREST APIは作ってみようかと思う。
これだったら、誰でもアカウント作れてスクリプト設置できるからな。
サーバはGoogleだから、耐久力は折り紙つき。2ch.netもブロックは
出来ないからな。
手順としては、仕込んだスクリプトで公開APIとする。APIにパラメータ
を渡してアクセスすると、UrlfetchAppで対象のスレッドをスクレイピング
する。
そして、解析した中身をDATにして返してくれるというわけだ。JSON形式
でも返せるぜ。こっちのほうがクライアント側は楽だと思うがね。このスクリプト
を配布して、使いたい奴は使えば良い。アクセス先はGoogle Apps Scriptで
公開したURLにPOSTパラメータで渡せば良い。
こんな所か。Triggerで自動巡回も出来るし、スクリプトに設定項目でも入れて
おけば、キモいウザいスレやレスはフィルタさせることも出来る。プロクシとは
言えないが、かなり便利なものになるんじゃないかね。
応用すると、互換のない掲示板でも同じようなDAT形式にコンバートしてやれば
読めるようになるという優れものにもなるかもしれないと夢見てる。まぁ、3/3
以降にまずは自分用として作ってみようとは思う。
0018名無しさん@お腹いっぱい。
2015/02/17(火) 20:37:26.45ID:DkiqvBEU0ログを集めるサーバと公開するサーバは別にした方がいい
0019名無しさん@お腹いっぱい。
2015/02/17(火) 20:42:02.72ID:D7asMS8F0http://www.telerik.com/download/fiddler
インストールしてRule→Customize Ruleで下記のコード張り付けて保存して、専ブラのプロクシにfiddlerのアドレス設定するだけ
http://pastebin.com/Zpa7KB4G
subject.txt dat(Range Header) に対応。Javascriptだから編集が簡単
どうよ?
0020名無しさん@お腹いっぱい。
2015/02/17(火) 20:49:16.28ID:D7asMS8F0Fiddler2インストールして(.net 2入ってなかったらそれも) Rules→Customize Rulesにコード入れて
専用ブラウザのプロクシのアドレスに127.0.0.1 portに設定した値を入れるだけ(Tools→Fiddler Option→Connectionsで設定可能)
0021名無しさん@お腹いっぱい。
2015/02/17(火) 20:58:23.70ID:5zOTXyTM0多分その人の作ったやつの最新版
http://anago.2ch.net/test/read.cgi/software/1424083075/34
0022名無しさん@お腹いっぱい。
2015/02/17(火) 21:51:59.81ID:DUyFDFY30まだ試してないけど、Fiddler使う方法で問題なく使えるだろうね
0023名無しさん@お腹いっぱい。
2015/02/17(火) 22:27:40.70ID:u2yEjtuw0http://pastebin.com/LbG5Mipe
0024名無しさん@お腹いっぱい。
2015/02/17(火) 23:52:38.35ID:u2yEjtuw0http://anago.2ch.net/test/read.cgi/software/1424178732/41
0025名無しさん@お腹いっぱい。
2015/02/18(水) 01:17:29.92ID:xTfkwUyQ00026名無しさん@お腹いっぱい。
2015/02/18(水) 01:18:20.56ID:xTfkwUyQ0めんどくさいな
0027名無しさん@お腹いっぱい。
2015/02/18(水) 02:18:30.96ID:AySZKwjc0それだけ心配
0028名無しさん@お腹いっぱい。
2015/02/18(水) 04:13:20.61ID:UWjXV+NY0書き込みする時に<br>の前後に\x20追加するけど
read.cgiは\x20\x20<br>→\x20<br>に変換して出力
0029名無しさん@お腹いっぱい。
2015/02/18(水) 04:21:42.91ID:YWZwatlC05分ごととかだったら、HTMLからDATに変換する方式で非公認専ブラを作ってもあまり役に立たなそう
0030名無しさん@お腹いっぱい。
2015/02/18(水) 04:29:32.75ID:2cQG25Mz02ch初めてか?
0031名無しさん@お腹いっぱい。
2015/02/18(水) 04:31:03.86ID:aUJWB+hV0SC民ですか?
0032名無しさん@お腹いっぱい。
2015/02/18(水) 05:32:52.94ID:YWZwatlC0サーバ負荷が高そうだし、API導入のついでに遅延式に変更されたりするんじゃないか
0033名無しさん@お腹いっぱい。
2015/02/18(水) 05:40:52.66ID:UWjXV+NY0,......,___ アッー! ___ お前初めてかここは?
{ r-}"''; (,- ,_'',; 力抜けよ
__ノYv"-ァ'=;} ,_、 Y' リ''ー
ヽー-ハ '、 / キ}、 {"ー {⌒
ト ハ } ,. -ー─-- 、___ / ハノ`{ {
! ! !__! ,-、_ ,,( ,  ̄`ー、 /"''ー;ー'"
|___|! !ー-ニー、;、;'""ノ';{ iー ヽ=ニ=),..- '"
K \ヽ !`ーニ'-、{ (e 人 |' ̄ ̄/`ー! | / /⌒
\ヽ !、ヽ, "")ー-'"| ! | | /! |___{,、 / /
\"'ヽ'ー-" _! || } ー─| | / ヽ/ /
ニ=ー- `!!!' ''''ー'"{ | | / /`ー|\/
ーーーー' _ | ./ ヽ__ / | !
三`'/ `'""
0034名無しさん@お腹いっぱい。
2015/02/18(水) 05:47:31.31ID:WV6qU0cI03月まではまだ時間あるしのんびりブラッシュアップしていこう
ID:YWZwatlC0はなんとか大百科とかその辺と勘違いしてるのではないか
遅延あったらWebブラウザで見れんだろ。実況とか。やる気しないけど
0035名無しさん@お腹いっぱい。
2015/02/18(水) 06:26:59.97ID:YWZwatlC0最新レスを遅延なく見たければ専ブラを使ってねとでも表示しておけばいい
0036名無しさん@お腹いっぱい。
2015/02/18(水) 08:03:41.56ID:dSMNbUaj0http://anago.2ch.net/test/read.cgi/software/1424213277/
0037名無しさん@お腹いっぱい。
2015/02/18(水) 08:32:26.56ID:TeUPniaB02ちゃん読み書きしてたこと無いような奴までわいてるってどういうことww
0038名無しさん@お腹いっぱい。
2015/02/18(水) 09:43:47.94ID:4bPdOLng0LineやTwitterみたいなものとして認識されているらしい
スマホのアプリのスレとか小学生ばっかだぞ(知能レベルが…
0039名無しさん@お腹いっぱい。
2015/02/18(水) 09:58:49.64ID:R2v4g10900040名無しさん@お腹いっぱい。
2015/02/18(水) 10:14:33.79ID:t7UYXdmo00041名無しさん@お腹いっぱい。
2015/02/18(水) 11:30:34.83ID:9o5r9w9j00042名無しさん@お腹いっぱい。
2015/02/18(水) 12:12:12.94ID:ddFRF3bU0近頃は何ググってもアフィまとめブログが検索結果の上位に出てくるから
そこから流入してきてるんだろうね
0043名無しさん@お腹いっぱい。
2015/02/18(水) 12:26:26.94ID:5qaOceEJ0自分でやれよ
0044名無しさん@お腹いっぱい。
2015/02/18(水) 13:33:47.81ID:4P6T/tc40オミトロンのフィルターでhtml2datできないかな?
0045名無しさん@お腹いっぱい。
2015/02/18(水) 13:50:04.68ID:Xq3E4E/z0Cache-control: no-cache
Last-Modified: Wed, 18 Feb 2015 04:33:48 GMT
Pragma: no-cache
Proxy-Connection: keep-alive
Host: anago.2ch.net
User-Agent: Monazilla/1.00 gikoNavi/beta55/1.55.1.697
If-Modified-Since: Wed, 18 Feb 2015 04:33:48 +0900
Range: bytes=10849-
こんな感じのリクエストに対応しないと専用ブラウザの串は無理
さもないと2chのcloudflare移転直後にあった「あぼ〜ん検出して再取得する」を毎回やることになる
かちゅ〜しゃは -1 Byte (あぼーんされても最初が\x0Aの改行ならあぼ〜ん検出不可)
ギコナビは -16 Byte
0046名無しさん@お腹いっぱい。
2015/02/18(水) 13:55:15.04ID:xTfkwUyQ0変換後に必要な分だけ切り取ればokだから簡単
>>19なら対応してるな
0047名無しさん@お腹いっぱい。
2015/02/18(水) 14:04:09.43ID:t7UYXdmo0できるとは思うけどスクレイピングはどうしてもいたちごっこになるんで
そこはscに任せちゃったほうが楽かなと思って
0048名無しさん@お腹いっぱい。
2015/02/18(水) 14:26:08.98ID:4P6T/tc40たしかにそうだね
専ブラからの書きこみはどうなるんだろう?bbs.cgiも変更されるんだろうか?
0049名無しさん@お腹いっぱい。
2015/02/18(水) 14:33:40.26ID:+ZaK+Xru0>33
0050名無しさん@お腹いっぱい。
2015/02/18(水) 16:30:46.13ID:rHZJfdCo0コレを改造してproxy作ればいいのだな
0051名無しさん@お腹いっぱい。
2015/02/18(水) 16:35:48.63ID:hBnA4Sge0みんな頼んだぞ
あの時のようにまた2chの存亡がかかってる
0052名無しさん@お腹いっぱい。
2015/02/18(水) 17:13:17.56ID:4P6T/tc40>>24 は起動できない fiddlerCore使ってC#で頑張って作るか
0053名無しさん@お腹いっぱい。
2015/02/18(水) 17:49:17.56ID:cnwUoewx0メアドuudecodeしなきゃならんし
0054名無しさん@お腹いっぱい。
2015/02/18(水) 18:01:24.11ID:N1Yfb/aj00055名無しさん@お腹いっぱい。
2015/02/18(水) 19:17:40.54ID:gdotmLc10分かってみたら単純な話だった
0056名無しさん@お腹いっぱい。
2015/02/18(水) 19:33:50.65ID:3vDiccRV0kwsk
0057名無しさん@お腹いっぱい。
2015/02/18(水) 19:36:39.93ID:nb8rT6130>15
0058名無しさん@お腹いっぱい。
2015/02/18(水) 20:15:43.45ID:iS307pH90すまん、投稿してから>>53に気付いた
0059名無しさん@お腹いっぱい。
2015/02/18(水) 23:37:26.66ID:rx2IYK5/0前に公式p2を専ブラで使ったような感じの、あんなのがいいんだけど
0060名無しさん@お腹いっぱい。
2015/02/18(水) 23:42:47.95ID:t7UYXdmo0スクリプト書けるの知らなかったからちょっと調べてみよう
0061名無しさん@お腹いっぱい。
2015/02/18(水) 23:45:08.12ID:k9aLQ+tr00062名無しさん@お腹いっぱい。
2015/02/18(水) 23:54:24.96ID:4P6T/tc40FiddlerCore使ってそういうソフト作るのは慣れてる人には簡単
ただ、Xデーが過ぎて実際の仕様変更が分からないと今作っても多分使えなくなる
とにかく今は避難所を決めて一旦そこに集まらないといけない
0063名無しさん@お腹いっぱい。
2015/02/19(木) 00:00:41.67ID:pUGq51Np0したらばなんか安定してていいと思うけどどうだろう
0064名無しさん@お腹いっぱい。
2015/02/19(木) 00:01:47.68ID:W3w7qRPm0負荷かかったら速攻削除されそう
0065名無しさん@お腹いっぱい。
2015/02/19(木) 00:03:02.64ID:pUGq51Np0ソフトの開発程度でそんな負荷かからんと思うけど
0066名無しさん@お腹いっぱい。
2015/02/19(木) 00:40:29.80ID:02OQCz8700067名無しさん@お腹いっぱい。
2015/02/19(木) 01:13:03.04ID:moiDddur0個人で勝手にやる分には、スクレイピングしてるかどうかなんて誰もわからん
NGなのはスクレイピングする専ブラを作って配布したりする場合
Fiddlerくらいなら全然問題ないだろ
UAをIEとかにしておけば尚可
0068名無しさん@お腹いっぱい。
2015/02/19(木) 01:18:52.32ID:2dVz7sV400069名無しさん@お腹いっぱい。
2015/02/19(木) 01:31:05.27ID:zQO25CXq0これもライセンスに同意してなければ問題ないと思う
0070名無しさん@お腹いっぱい。
2015/02/19(木) 01:42:02.73ID:lITsEGBD0不特定多数に向けて公開したまんまなら、ユーザー側がそれをどんなブラウザで見るのかを制限するのはマズイんじゃないの?BOTならともかく。
0071名無しさん@お腹いっぱい。
2015/02/19(木) 01:47:17.39ID:g4R7dcNV0契約してない人間がスクレイビングしても止める権限はないかと
0072名無しさん@お腹いっぱい。
2015/02/19(木) 01:50:08.62ID:lITsEGBD0まあどうせイタチゴッコになるんだろうけど、それさえ覚悟してれば作れると。
0073名無しさん@お腹いっぱい。
2015/02/19(木) 01:51:29.88ID:pUGq51Np0まずくはないけど、何の強制力もないね
勝手に吠えてるだけってこと
0074名無しさん@お腹いっぱい。
2015/02/19(木) 02:09:08.39ID:l3r1h4W20霊)
http://anago.2ch.net/test/read.cgi/software/1424147714/
とか
http://anago.2ch.net/test/read.cgi/software/1424147714/1-
と指定しても
http://anago.2ch.net/test/read.cgi/software/1424147714/1-50
を指定したのと同じ動作
どっかの掲示板かなにかであった気がする
0075名無しさん@お腹いっぱい。
2015/02/19(木) 10:11:45.33ID:bdiwGz+y0JaneSpyleのバイナリ解析でキーを割り出そうとする奴、ネットワークトラッフィック解析してAPIの使い方やキーの使われ方を解明する奴、APIのサーバーロジックの脆弱性探してAPIその物を乗っ取ろうとする奴、公開後は皆一気に動き出すよ
恐いのはAPIが負荷で落ちること
きっと負荷にすごく弱いはずで、落ちると解析ができなくなる
DoS攻撃以前に普通の負荷で落ちかねないからそれだけが気がかり
0076名無しさん@お腹いっぱい。
2015/02/19(木) 10:15:45.55ID:rY/cnAiS00077名無しさん@お腹いっぱい。
2015/02/19(木) 10:27:10.87ID:lITsEGBD0結局個別キーが要るとかだと解析できてもどうにもならんけどな
0078名無しさん@お腹いっぱい。
2015/02/19(木) 10:50:43.94ID:eYNtHh9v00079名無しさん@お腹いっぱい。
2015/02/19(木) 11:18:59.12ID:lITsEGBD0俺は嫌だけどな。
0080名無しさん@お腹いっぱい。
2015/02/19(木) 11:21:06.66ID:AQhy/VdK00081名無しさん@お腹いっぱい。
2015/02/19(木) 13:03:46.56ID:rNVB2CpR0外からのぞき見るならともかくローカル環境で動くプログラムでSSLなんて使ったところでMITMし放題やん
0082名無しさん@お腹いっぱい。
2015/02/19(木) 14:25:25.78ID:gS6KFGXZ0余裕だろ
FiddlerのDecrypto HTTPSやoSpyで余裕
0083名無しさん@お腹いっぱい。
2015/02/19(木) 14:51:40.05ID:bdiwGz+y0一度Spyleからのキーの割り出し方がわかれば、キーを変えた新バージョン出しても一瞬でキーが割られるようになるよ
バイナリ解析で割れる場合も、トラッフィック見て割れる場合もどっちでもね
多分2回目以降は更新版公開後10分以内に割られるよ
だからキーが割れたらみんなで安心してSpyleのキーを使えばいい
オンラインにキーを置いて参照するようにしておけば、山下がキーを変えてもすぐに対応できる
0084名無しさん@お腹いっぱい。
2015/02/19(木) 16:32:35.54ID:6+hJOHoa0Fiddler起動して、Tools -> Fiddler Optionクリックして、
HTTPS -> Capture HTTPS ConnectsとDecrypt HTTPS traffic
をチェックできる僕ちんは1%に入るってことですねw
0085名無しさん@お腹いっぱい。
2015/02/19(木) 20:15:27.27ID:+51BSGm70>>84
FiddlerやoSpyはSSL/TLSを解析してる訳じゃねぇよ…
0086名無しさん@お腹いっぱい。
2015/02/19(木) 20:19:44.92ID:IDeL5BWQ00087名無しさん@お腹いっぱい。
2015/02/19(木) 20:20:59.51ID:rtDr7kxZ0秘密鍵かワンタイム対称鍵のどっちかが漏れたら解析できるけどな
0088名無しさん@お腹いっぱい。
2015/02/19(木) 20:42:05.28ID:bdiwGz+y0SSL/TLSを解析して破りたいわけじゃないだろ
それらは外部からの覗き見には有効でも、内部からの覗き見対策としては完全に無力だから
解析する上で何の障壁にもなってないよねって話
0089名無しさん@お腹いっぱい。
2015/02/19(木) 20:45:55.02ID:lITsEGBD00090名無しさん@お腹いっぱい。
2015/02/19(木) 20:54:17.21ID:kah5oKX+00091名無しさん@お腹いっぱい。
2015/02/19(木) 21:20:01.95ID:ATxKJkZa0viewやxenoがそれをやることは100%無い
Spyleのふりをして通信するプロクシソフトに期待するか
0092名無しさん@お腹いっぱい。
2015/02/19(木) 21:24:37.68ID:GaU0BJp90> Spyleのふりをして通信するプロクシソフトに期待するか
それってSpyleの分け前が増えるのを助けてるだけじゃ?
0093名無しさん@お腹いっぱい。
2015/02/19(木) 21:25:29.92ID:pUGq51Np00094名無しさん@お腹いっぱい。
2015/02/19(木) 21:32:54.27ID:lITsEGBD0そうだよな。どうせならブラウザのフリをしよう。広告はリクエストだけ投げとけばおk。ジェーンさんもやってたらしいし。
0095名無しさん@お腹いっぱい。
2015/02/19(木) 21:34:05.88ID:GaU0BJp90HTML人大杉で見れなくなる→Spyleでは見れるけど如何っすか?
PV増える→営業のネタとして使える
過疎らせるのが一番だとなぜ分からん
0096名無しさん@お腹いっぱい。
2015/02/19(木) 21:38:35.76ID:pUGq51Np0人大杉になるなら、もうそれでいいでしょ
それって通常ブラウザからはアクセス出来ないってことだから
style使ってまでアクセスしたい人はそうすればいい
そこまでする人がどんだけ居るのか知らんけど
0097名無しさん@お腹いっぱい。
2015/02/19(木) 21:42:10.78ID:lITsEGBD0まあ個人的にはそれなりにニッチな井戸端会議が出来るぐらい集まれればどこでもいいんだけどさ。
0098名無しさん@お腹いっぱい。
2015/02/19(木) 21:45:04.93ID:GaU0BJp90お前は誰と戦っているのか?
0099名無しさん@お腹いっぱい。
2015/02/19(木) 21:48:15.47ID:pUGq51Np0つーか、意図を持ってそんなこと出来るつもりなんかい
0100名無しさん@お腹いっぱい。
2015/02/19(木) 21:48:45.63ID:9IjsF0pb0その辺弄る気は全くないんだろ
多少の専ブラユーザーがHTML型に移行した所でまったく変わらんだろうな
串計画的には問題無いと思う
0101名無しさん@お腹いっぱい。
2015/02/19(木) 21:50:18.86ID:pUGq51Np0API解析したものを利用してdat取得なんかしたら、それ不正アクセスそのものだよ
■ このスレッドは過去ログ倉庫に格納されています