トップページsoftware
1001コメント301KB

専用ブラウザを助けるプロクシ作らね? [転載禁止]©5ch.net

■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん@お腹いっぱい。2015/02/17(火) 13:35:14.21ID:D7asMS8F0
専用ブラウザを作る訳じゃないから問題なし
0002名無しさん@お腹いっぱい。2015/02/17(火) 13:37:41.60ID:FnpFJPOQ0
すべては終わりの始まりが始まってから
0003名無しさん@お腹いっぱい。2015/02/17(火) 14:03:37.12ID:41fzODbV0
普通に「したらば用」のスクレイピングツールを作ればよくね
専用じゃなきゃいいっぽいし
0004名無しさん@お腹いっぱい。2015/02/17(火) 14:06:10.39ID:DkiqvBEU0
2ch放棄した方がマシでは
0005名無しさん@お腹いっぱい。2015/02/17(火) 15:22:27.10ID:xNg1dS/z0
>>1
もうすでに作っている人がいる件
ためしてないけど
0006名無しさん@お腹いっぱい。2015/02/17(火) 15:39:29.55ID:D7asMS8F0
http://anago.2ch.net/test/read.cgi/software/1424024569/264+643+656+728+923
これか
0007名無しさん@お腹いっぱい。2015/02/17(火) 15:45:03.45ID:98UwR0ug0
それで解決するならscのクロールは止まらんだろ
HTMLは難読化されるやろなぁ
0008名無しさん@お腹いっぱい。2015/02/17(火) 16:07:08.51ID:acSeWK190
またいちだんと負荷が増えるねw
0009名無しさん@お腹いっぱい。2015/02/17(火) 16:28:46.24ID:EdcJZYwk0
>>6
もうねえけど
0010名無しさん@お腹いっぱい。2015/02/17(火) 16:32:40.04ID:HJ9WxDwH0
>>1
sc
0011名無しさん@お腹いっぱい。2015/02/17(火) 17:56:30.05ID:K8XLGPeJ0
ここで言うのもなんだけど、専ブラをブラウザの振りをするように書き換えたほうが早くね?
プロトコルもフォーマットの元仕様も決まってるんだし。負荷は更にエライ事になるが。
あとはアレだな。そうなるとHTMLも時々変えて来るだろうからどうやって付いて行くかだな。
0012名無しさん@お腹いっぱい。2015/02/17(火) 18:29:47.31ID:D7asMS8F0
誰でも簡単に書き換えられるぐらいの手軽さがあれば良いんじゃないかな
0013名無しさん@お腹いっぱい。2015/02/17(火) 18:55:29.36ID:0gXITrNO0
>>7
これだろうな
いたちごっこになりそう
0014名無しさん@お腹いっぱい。2015/02/17(火) 19:37:30.57ID:dgLHR73y0
作ってみようと思ったけど、HTML取得するとメールが"/cdn-cgi/l/email-protection#*****"になるんだけどどうすればいいんかね
今時目欄なんてほぼ機能してないし無視しても問題少なそうだけど
0015名無しさん@お腹いっぱい。2015/02/17(火) 19:41:56.52ID:D7asMS8F0
>>14
http://pastebin.com/Mw0kSGHU C#
http://pastebin.com/b6RR21Rf perl
パースの見本があるので参考にすると良い

htmlの最後に書いてあるjsで復号化してるので
そっちを参考しても良い
0016名無しさん@お腹いっぱい。2015/02/17(火) 19:57:37.95ID:dgLHR73y0
thx
js見てみる
0017名無しさん@お腹いっぱい。2015/02/17(火) 20:15:20.15ID:Tk0C/ZCM0
プロクシってわけじゃないが、Google Apps Scriptつかって
ちょっとしたREST APIは作ってみようかと思う。

これだったら、誰でもアカウント作れてスクリプト設置できるからな。
サーバはGoogleだから、耐久力は折り紙つき。2ch.netもブロックは
出来ないからな。

手順としては、仕込んだスクリプトで公開APIとする。APIにパラメータ
を渡してアクセスすると、UrlfetchAppで対象のスレッドをスクレイピング
する。
そして、解析した中身をDATにして返してくれるというわけだ。JSON形式
でも返せるぜ。こっちのほうがクライアント側は楽だと思うがね。このスクリプト
を配布して、使いたい奴は使えば良い。アクセス先はGoogle Apps Scriptで
公開したURLにPOSTパラメータで渡せば良い。

こんな所か。Triggerで自動巡回も出来るし、スクリプトに設定項目でも入れて
おけば、キモいウザいスレやレスはフィルタさせることも出来る。プロクシとは
言えないが、かなり便利なものになるんじゃないかね。

応用すると、互換のない掲示板でも同じようなDAT形式にコンバートしてやれば
読めるようになるという優れものにもなるかもしれないと夢見てる。まぁ、3/3
以降にまずは自分用として作ってみようとは思う。
0018名無しさん@お腹いっぱい。2015/02/17(火) 20:37:26.45ID:DkiqvBEU0
Googleとわかってるならクローラー以外をブロックするだけで対策できるだろ
ログを集めるサーバと公開するサーバは別にした方がいい
0019名無しさん@お腹いっぱい。2015/02/17(火) 20:42:02.72ID:D7asMS8F0
俺もFiddler用のhtml2datスクリプト書いてみた
http://www.telerik.com/download/fiddler
インストールしてRule→Customize Ruleで下記のコード張り付けて保存して、専ブラのプロクシにfiddlerのアドレス設定するだけ
http://pastebin.com/Zpa7KB4G
subject.txt dat(Range Header) に対応。Javascriptだから編集が簡単
どうよ?
0020名無しさん@お腹いっぱい。2015/02/17(火) 20:49:16.28ID:D7asMS8F0
http://www.telerik.com/download/fiddler
Fiddler2インストールして(.net 2入ってなかったらそれも) Rules→Customize Rulesにコード入れて
専用ブラウザのプロクシのアドレスに127.0.0.1 portに設定した値を入れるだけ(Tools→Fiddler Option→Connectionsで設定可能)
0021名無しさん@お腹いっぱい。2015/02/17(火) 20:58:23.70ID:5zOTXyTM0
>>9
多分その人の作ったやつの最新版
http://anago.2ch.net/test/read.cgi/software/1424083075/34
0022名無しさん@お腹いっぱい。2015/02/17(火) 21:51:59.81ID:DUyFDFY30
>>19
まだ試してないけど、Fiddler使う方法で問題なく使えるだろうね
0023名無しさん@お腹いっぱい。2015/02/17(火) 22:27:40.70ID:u2yEjtuw0
Google Apps Script
http://pastebin.com/LbG5Mipe
0024名無しさん@お腹いっぱい。2015/02/17(火) 23:52:38.35ID:u2yEjtuw0
>>21からさらに更新
http://anago.2ch.net/test/read.cgi/software/1424178732/41
0025名無しさん@お腹いっぱい。2015/02/18(水) 01:17:29.92ID:xTfkwUyQ0
2ch@2ch.net
0026名無しさん@お腹いっぱい。2015/02/18(水) 01:18:20.56ID:xTfkwUyQ0
メール欄だけでなく本文のメルアドも弄られるのか・・
めんどくさいな
0027名無しさん@お腹いっぱい。2015/02/18(水) 02:18:30.96ID:AySZKwjc0
プロクシでやって規制きたら即あぼんしないかね?
それだけ心配
0028名無しさん@お腹いっぱい。2015/02/18(水) 04:13:20.61ID:UWjXV+NY0
html2dat作って比較したけど完全じゃないな

書き込みする時に<br>の前後に\x20追加するけど
read.cgiは\x20\x20<br>→\x20<br>に変換して出力
0029名無しさん@お腹いっぱい。2015/02/18(水) 04:21:42.91ID:YWZwatlC0
HTML版への新規書き込みってすぐに反映されるの?
5分ごととかだったら、HTMLからDATに変換する方式で非公認専ブラを作ってもあまり役に立たなそう
0030名無しさん@お腹いっぱい。2015/02/18(水) 04:29:32.75ID:2cQG25Mz0
>>29
2ch初めてか?
0031名無しさん@お腹いっぱい。2015/02/18(水) 04:31:03.86ID:aUJWB+hV0
>>29
SC民ですか?
0032名無しさん@お腹いっぱい。2015/02/18(水) 05:32:52.94ID:YWZwatlC0
今は即座に反映されてるのか
サーバ負荷が高そうだし、API導入のついでに遅延式に変更されたりするんじゃないか
0033名無しさん@お腹いっぱい。2015/02/18(水) 05:40:52.66ID:UWjXV+NY0
>>32
  ,......,___        アッー!         ___  お前初めてかここは?
  {  r-}"'';                    (,- ,_'',;  力抜けよ
__ノYv"-ァ'=;}                  ,_、 Y' リ''ー
  ヽー-ハ '、                 / キ}、 {"ー {⌒
  ト ハ  }      ,. -ー─-- 、___ /   ハノ`{  {
 ! ! !__! ,-、_    ,,( ,        ̄`ー、 /"''ー;ー'"
 |___|! !ー-ニー、;、;'""ノ';{  iー       ヽ=ニ=),..- '"
 K \ヽ !`ーニ'-、{  (e 人  |' ̄ ̄/`ー!  | /   /⌒
  \ヽ !、ヽ, "")ー-'"| !  |   |  /!  |___{,、  /  /
    \"'ヽ'ー-"  _! ||  }   ー─|  | / ヽ/  /
ニ=ー- `!!!'     ''''ー'"{  |     |  /  /`ー|\/
ーーーー'        _ | ./      ヽ__ /  | !
             三`'/             `'""
0034名無しさん@お腹いっぱい。2015/02/18(水) 05:47:31.31ID:WV6qU0cI0
一応それなりに動きそうなものが出来た
3月まではまだ時間あるしのんびりブラッシュアップしていこう

ID:YWZwatlC0はなんとか大百科とかその辺と勘違いしてるのではないか
遅延あったらWebブラウザで見れんだろ。実況とか。やる気しないけど
0035名無しさん@お腹いっぱい。2015/02/18(水) 06:26:59.97ID:YWZwatlC0
ブラウザで見てるようなライトユーザーなら、数秒前の最新のレスが数個見れなくても気にしないんじゃないの
最新レスを遅延なく見たければ専ブラを使ってねとでも表示しておけばいい
0036名無しさん@お腹いっぱい。2015/02/18(水) 08:03:41.56ID:dSMNbUaj0
Jane Style 山下くん OpenJaneのコード使用規約違反
http://anago.2ch.net/test/read.cgi/software/1424213277/
0037名無しさん@お腹いっぱい。2015/02/18(水) 08:32:26.56ID:TeUPniaB0
>>32
2ちゃん読み書きしてたこと無いような奴までわいてるってどういうことww
0038名無しさん@お腹いっぱい。2015/02/18(水) 09:43:47.94ID:4bPdOLng0
いまどきの小中学生にとって2chは
LineやTwitterみたいなものとして認識されているらしい

スマホのアプリのスレとか小学生ばっかだぞ(知能レベルが…
0039名無しさん@お腹いっぱい。2015/02/18(水) 09:58:49.64ID:R2v4g1090
htmlのdat化じゃなくて、山下Styleをハイジャックするのを作ってよ。
0040名無しさん@お腹いっぱい。2015/02/18(水) 10:14:33.79ID:t7UYXdmo0
自分で使う分にはProxomitronでdatの取得先をscにするだけでいいかなという気がしてきた
■ このスレッドは過去ログ倉庫に格納されています