専用ブラウザを助けるプロクシ作らね？ [転載禁止]©5ch.net

**名無しさん＠お腹いっぱい。** · 2015/02/17(火) 13:35:14.21

専用ブラウザを作る訳じゃないから問題なし

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:14:51.79

datにアクセス出来ないんだからdatのサイズはどうでも良い気が

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:16:56.71

datアクセス廃止以降、既にdat取得済みのスレッドに対してhtml2datなプロクシ経由で差分取得することになると
一度ログ消して再取得しなけりゃならん、という程度

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:20:14.27

>>203
それだけ

であればいいけどね
read.cgiのhtml出力仕様がコロコロ変わると大変な事に

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:29:19.06

あーなるほど過去ログが問題になるのか

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:30:24.34

みなさん詳しくどうもありがとう
参考にさせてもらいます

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:50:10.62

差分リクエストに1からのDAT送りつけたら…どうなるかはブラウザ次第か
V2Cの場合ログが勝手に再構成されるから問題なかった。再取得操作は不要

ここまで一切弄ってこなくて、SCのCGI経由クロール判明以降も全く弄ってなかったんだし、変わる可能性は薄いと思うけど
API流用型の改造も出てきてる今、現状使用者は相当少なくなるであろうこの手の串対策に変えてくるかなあ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 03:30:37.58

PC用は回避方法は分かったが、スマホは回避方法あるの？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 03:42:52.44

>>207
>差分リクエストに1からのDAT送りつけたら
クラウド鯖使うようになった初期の頃を知らんのか・・・
今年の１月後半ぐらいなんだがな

差分取得する毎に「あぼーん検出→再取得」のコンボだったよ
あぼーん検出不可なブラウザはどうなるか知らん
少なくともギコナビは取得済みから -8 Byteでリクエストしてこの 8 Byteが違っていたらあぼーん検出
かちゅ～しゃ+kageの方は -1 Byteでリクエストして受信した最初が \x0A じゃなければあぼーん扱い

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 03:46:27.31

ギコナビは16byteじゃなかったっけか

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 04:05:24.38

ごめん 16 Byteだった

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 04:48:57.48

>>209
いや検出からの再取得じゃなく、串が動いたのは最初の1回のみで、何くわぬ顔でDAT再構築したんだよV2C

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 04:52:59.54

あ、いや見間違いだ普通に2回動いてたわすまん

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 09:09:21.05

node.jsで新APIを利用する簡易串のコードサンプルを書いてみたんだが
新APIの仕様についての話題は、このスレでいいのか？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 10:07:18.29

どうぞどうぞ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 10:38:19.06

node.js用新API串サンプル
http://pastebin.com/VGTR7Sf0

セッションIDを起動時に取得したまま、ずっと使い続けるテキトー実装だけど
セッションの有効期限って、どれくらいやろ
あと、if-modified-since、rangeリクエストをそのまま通過させてAPIに投げると
更新なし時にステータスコードが200で、bodyが404の返答があるのは何でや

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:20:05.06

これ↓のことかな？ならバグみたい

778 ：名無しさん＠お腹いっぱい。 [] ：2015/02/27(金) 10:27:03.28 ID:+kID8sEa0 (7/7) [PC]
>>771
これはAPIの仕様かバグですね
ステータスコード 206 で返るべきところ、ステータスコード 200で返って来るので再取得が走ってしまう
一応対処は可能だけど、これは他の専ブラも困ってるはずで、API側で直してくれるかも
山下、これ直しとけよ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:22:38.01

>>217
ソースどこよ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:25:31.26

>>218
http://anago.2ch.net/test/read.cgi/software/1424315959/778

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:26:19.12

V2C_R78スレ見てよ　

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:29:38.83

>>216
windowsで動いてる
サンクス

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:41:01.10

>>217
仕様とか言い出すかもなｗ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:44:10.68

俺用メモ
http://anago.2ch.net/test/read.cgi/software/1424327586/
>>835

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 12:49:39.53

>>216
これとNode.jsとPython 2.7があれば良いのかな？
後でやってみよう

Node.js
http://nodejs.org/download/
Python 2.7
https://www.python.org/downloads/

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 13:10:51.81

>>217
206は返ってきているようだが、304 Not Modifiedが返ってこないな
というより、20xのときは直にdatアクセスしたときの同じようなレスポンスが返ってくるから
サーバーが内部的にリクエストを転送してる気がする
if-modified-sinceヘッダーを取り除けば、問題は無くなりそう

>>224
ソースからインストールする場合と書いてあるから、Pythonは要らないかも

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 19:47:06.05

>>19にhtmltodatByFiddlerからBeとhrefの処理コピペして
email-protectionが無い場合はそのままmail返すように変えて使ってみたよー
htmltodatByFiddlerの場合はemail-protectionを>>19のように'X'までにするように直す必要があるね
本文のemail-protection処理はどっちも必要

ってかJSとか弄った事ないからよく分からねー

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 19:59:58.01

今までのローカルにある過去ログとの共存は可能？
結構なログをローカルに溜め込んでいるのよね

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 20:09:26.60

216走らせると「proxy server is listening on port 8088」って出るけど、この状態でポート8088経由すれば
API使ってることになるのかな？API使用してる確認法がわからん・・・

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 20:37:55.59

>>228
ローカルであればプロキシ設定にlocalhost:8088と指定すれば使えているはず
一応、サンプルコードなので実用には注意

78行目あたりに
console.log(response.headers);
とか追記しておけば、APIにアクセスする度に返ってきたヘッダーを出力してくれる

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 20:44:48.19

>>216
セッションの期限は2chmateだと55分でセッションID取り直しているみたいだから1時間くらいじゃね？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 21:11:11.80

しばらく放置してるけど、未だに期限切れないので数時間は有効
実装いいかげんやな

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 22:34:08.15

rokkaと同じなら24h有効だな

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 23:31:38.98

>>216
仕様だ諦めろ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 02:18:07.46

htmltodatByFiddlerは派生が、たくさん出来ていてどれがいいのか分からない・・・・
どれが最新なんだろうか

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 02:39:26.18

>>233
山下SpyleはAPIのバグで近日中直すって言ってたけどな

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:23:39.36

技術ない山下がAPI書いてんのかそりゃクソになるわ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:28:06.57

ソフト404わろす

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:35:01.01

Styleスレ見てきたけど検証してみるとか言ってるだけでAPI直すなんて書いてなかったぞｗ
「API側の不具合で近日修正予定とのことです」とか言ってるし鯖のAPIなんて弄れないでしょ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:45:52.63

“２ちゃんねる”専用ブラウザー「Jane Style」のテスト版v3.80β、新APIをサポート - 窓の杜
> 　なお、新しい“２ちゃんねる”のAPIはまだテスト中で、差分取得リクエストに失敗して「Jane Style」の
> タイトルバーが赤色になることがあるという。これはAPI側の不具合で、近日修正される予定。
http://www.forest.impress.co.jp/docs/news/20150223_689599.html

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:53:25.87

APIはCMって聞いたぞ
山下が開発してんのか？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:02:32.96

>>240
CMでしょ
広告部分は分からんけど

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:18:21.95

山下がCMあたりに鯖を直してくれと頼みこんでいるんだろ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:25:11.89

豆腐付きでレスしてる奴がちょいちょい目につくようになってきたぞ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:37:26.24

豆腐？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 06:32:12.65

あー、もしかして最後に□が付いてるやつはそういうやつか
最近全然プロクシとか縁のなさそうな別スレで気になってた

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 07:21:49.36

��

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 08:17:44.68

>>216
XPでも動作しました、ありがとうございます。
というかNode.jsが動く環境なら2000でもいけそうだね。

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 09:00:57.92

JaneStyle入れてみたけど、デフォルトで起動した後の
20年前くらいのVC++で作ったようなダサい画面構成をみて
そっとアンインストールした

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 09:13:09.45

誤爆すまん

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 10:36:41.13

>>216 のスクリプトと >>224 の node.exe (Windows Binary)
でギコナビでも行けた。環境は32bit版windows7
しばらく様子を見てみようと思う。
ありがとう！

**anonymous@ne.jp** · 2015/02/28(土) 21:35:46.91

html2datキラー

**anonymous@ne.jp** · 2015/02/28(土) 21:47:58.21

html2datキラーはこっちだった模様

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:21:39.86

何これ？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:23:34.03

>>253
普通のwebブラウザでこのスレ見てみな？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:29:02.66

>>252 のレスは専ブラでは読めるが一般のブラウザでは読めない。
htmlソースを見ればわかるがemail-protectionのデコード処理が
名前欄やら投稿日やらを全部食ってしまってる感じ。
html2datキラーでなくread.cgiキラーだ

**ﾉtasukeruyo** · 2015/02/28(土) 22:31:25.47

>>254
よく分からん。

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:36:39.00

その後も色々おかしくなってるな本来の>>252が消えて>>253が>>252になって>>253が無くなって>>254がおかしくなってる

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:38:40.39

あら、ここってﾉtasukeruyo使えないのか。
一般のブラウザで開いて見たが、>>255のようにはならなかった。
やり方が悪いのか環境が悪いのか……

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:44:29.32

>>258
> 一般のブラウザで開いて見たが、>>255のようにはならなかった。
「全部表示」で見ただろ。「最新50」とかで見てみ
email-protection処理はなんか数に制限あるみたいだから
レス数が多いと途中から利かなくなる

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:53:39.86

しかし誰もメアドなんか真面目に入れないのにちゃんと
email protection してくれてんだな。
してくれない時もあるってのがアレだけど

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:02:19.46

これだからShiftJISは

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:16:24.40

>>259
おお、確かに欠けた。面白い。

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:18:12.68

>>255
IE11とGoogle Chromeでは>>251-252ともメール欄を含めて正常に読めてるが、他のブラウザでは変になるのかな？
↓
251 ：anonymous@ne.jp：2015/02/28(土) 21:35:46.91 ID:HNZCqnK30
html2datキラー

252 ：anonymous@ne.jp：2015/02/28(土) 21:47:58.21 ID:I6kPaz/J0
html2datキラーはこっちだった模様

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:20:35.29

でもこれ、ちゃんと踏まえた処理入れればhtml2datは普通にできるよな
char変換だけだと曜日とか一部化けるから、言語のエンコード系機能かなんか使う必要あるけど
単なるWebブラウザ殺しだわ

**263** · 2015/02/28(土) 23:22:16.76

>>259
なるほど、やっと理解した。IE，Chromeとも「最新50」で>>257と同じ現象が起きてる。なんてこった…

◆0X7hT.k8kU · 2015/02/28(土) 23:23:17.89

>>264
CFがぶっ壊れて名前欄とID欄が消えるから無理

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:31:28.32

Email Protection＋ダメ文字でHTMLがおかしくなる件はこのスレで報告されて
Email Protectionをオフにする要望も出てるけどスルーされてる

修理場　 Carpenter Part.4
http://carpenter.2ch.net/test/read.cgi/operatex/1421829594/

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:32:37.10

>>266
いや、無理じゃないよ
閉じタグが誤ってエンコードされてるだけであってデコードすればちゃんと全部出てくる

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:33:15.89

>>266
いや余裕余裕
#からXの間を変換して/cdnからXまでと置き換えるといつも通りのhtml
あとは他と同じようにパースして整形

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:36:16.11

閉じタグというか">か

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:38:56.52

ちなみに、確認してみたところhtmlクロールしてるscは問題なく処理してる模様

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:38:59.46

;>こうなるのが原因？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:40:40.77

バックスラッシュ(いわゆるダメ文字の2バイト目)で"がエスケープされちゃうのが原因

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:01:44.94

書き込みテストも兼ねて
>>234
http://anago.2ch.net/test/read.cgi/software/1424702481/384
これは？

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:14:50.13

>>271
意味が無え…。

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:16:03.09

>>273
あーなるほど、そっちか

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:27:32.24

>>274
それはダメというか書いた本人がどこかのスレで言ってたような

けどここに書き込みしてる人たちのスキルは高そうなので
そのうちいいものができそうな気はする

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:27:46.34

>>271
連中なかなかやるね

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:32:16.01

>>278
そりゃ専門にやってるんだからすぐ気付くだろう
こっちでも何日もかからず気付いたわけだし

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 01:29:13.11

>>279
そうなんだけど、なんと言うかイタチごっこが無意味なくらい、何をやっても涼しい顔で付いてくるだけの技術があるって感じがね
当たり前っちゃ当たり前なんだけど、今の2chの運営って技術力からっきしな連中しかいないから

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 01:33:54.42

そもそもこれただのバグでしょ
直す気がないんだか直せないんだか知らんけど

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 01:38:31.45

CF側の問題だからread.cgiで対処するなら実体参照に変換するぐらいかね

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 01:58:25.78

>>267 のスレでも言われてたけど
設定でオフにできるわけだから
運営系のスレで訴え続ければ改善されるかもね
すでに実害は出ているわけだし

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 02:07:46.76

普通はメール欄にはメールアドレスに相応しくない入力は弾くから問題ないんだけどね
CF側的には、例外処理は自分のとこでやれってことだろ。メールアドレスじゃないデータ送られてきたって知らんと言う話

2chの使い方だとemail protection自体全く意味ないんだからやめりゃいいのに

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 02:44:31.28

>>271
むしろログ速で問題発生の模様

**250** · 2015/03/01(日) 11:20:58.99

node.js用プロキシ起動させてから24時間以上経つが今のところ問題なし
2ch側の実装が単純だというのもあるんだろうが、
わずか100行足らずのコードで対応できてるのがすげえな

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 13:41:56.42

email-protectionのデコードする必要がなくなったよ。
よかったねｗ

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 14:11:15.19

>>286
24時間以内でもコード:401、本文:ng (not authorized) が返ってくるのを確認したので
リクエスト毎に期限が延長されてるのかもしれない
ちなみに、切れたときは前のリクエストから10時間ぐらい間隔が空いていた

あと、本文:404がちゃんとコード:404で返ってくるように修正されたっぽいけど
304は返してくれないし、上の401も使いどころとして微妙だし、本当に残念なAPIだな

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 15:35:19.26

>>288
なるほど
寝てる間7-8時間は間があいてたと思うがそれ以上になると切られるのかな
ま、こういうのは今後変更される可能性があるんだろうけど

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 17:51:11.46

XSS脆弱性
htmltodatByFiddlerを使っても大丈夫なの？

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 17:53:34.90

>>290
治った

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 18:29:18.24

何か知らんが>>19のやつでログが壊れるのも治った

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:01:03.06

じゃあ>>19か>>216使っとけば解決か

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:01:22.59

このスレも他の板に避難所ある？
仕様変更とかあると見れない書き込まれないってなりそうだから

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:03:56.58

http://pastebin.com/Zpa7KB4G
をコピペして丸ごと
CustomRules.js
に貼りつければいいの？
追記でなくて全て置き換え？

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:16:24.77

>>19使うなら htmltodatByFiddlerからBe対応部分とアンカー処理の部分コピペしたほうがいい

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:20:11.40

Xデーが来る時までにまとめといてね

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:24:51.55

Fiddler使いたいけどシステムプロキシが勝手に変わっちゃうのがな
2ch以外でProxomitron使うために自動構成スクリプト指定してるからそれが外れないように出来ればFiddler使うんだけど
ググってもやり方がわからん

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:27:47.45

なんでググったら一発でできる事ができないんだろう…

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:30:37.70

それが情弱ってやつじゃないの
検索力がない

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 23:31:15.67

>>298
起動オプションで /noattach 付ければいいはず