専用ブラウザを助けるプロクシ作らね？ [転載禁止]©5ch.net

**名無しさん＠お腹いっぱい。** · 2015/02/17(火) 13:35:14.21

専用ブラウザを作る訳じゃないから問題なし

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 00:18:48.61

>>19のFiddlerScriptがメール欄デコードしてるから
移植してみれば

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 00:22:50.77

>>181
about@ne.jp はどうよ？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 00:25:21.20

ためしにもう一個
info@co.jp 👀

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 00:26:06.88

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 00:29:26.79

かちゅおねがい

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 00:34:12.34

>>19
JaneXeno/150114で使ったらログが壊れるので、
スクリプト130行以降を全部削ったら使える様になりました。
ありがとうございます。

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:17:01.74

read.cgiの半角スペース処理の関係上
オリジナルdatと完全互換なhtml2datを作るのは不可能な模様

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:18:20.01

具体的には？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:25:48.03

行末の半角スペースの有無がhtmlでは分からない
↑の行は最後に半角スペースがある、datだと分かるがhtmlでは分からない

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:27:18.75

>>190
それのせいでscがスクレイピング使ってるのが確定したからね

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:34:13.96

>>189
特徴的なのはコピペした投稿

書き込み完了前の時点で各行の最後に半角スペース(\x20)が入る
書き込み後のdat上では\x20\x20 となってるけど
read.cgi通すと\x20 に変換される

改行の処理が \n → \x20 \x20 なんで各行の前後に半角スペースが必ず挿入される仕様

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:50:13.11

>>187
それ単にdatにアクセスしてるだけじゃね？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:51:13.61

>>189
>>192ぐらいなら置換で戻せるし、行頭半角はbbs.cgi?の段階で削除されるから
文字と文字の間に複数個の半角スペース入れたりしない限りまぁ大丈夫
ただAA初心者とか整形しようとすると結構やっちゃうけどな

"無意味な空白は１つだけにする"でググるとそこらへんの処理が出てくるな
1byteでも転送量を減らそうという当時の努力が窺い知れる・・

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 01:51:20.14

そもそもWebで見た時にはそう表示されるんだから、
Whitespaceのプログラムでも書き込まない限り問題ないんだけどね
どのみち差分取得するならどっかにレス番かログ保存しとく必要あるし

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:01:27.50

メール欄が壊れまくるな
htmltodatByFiddlerは

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:03:48.48

行末のスペースならAAも崩れたりはしないよね？
実用上は問題なさそうだけど

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:06:09.60

行末のスペースを見て何らかの処理をする専ブラってあるのかな？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:06:14.60

>181
2015/02/27(金) 00:09:18.47 ID:2darJ9Q20<>\x20メール欄が壊れまくるな\x20 \x20htmltodatByFiddlerは\x20<>
2015/02/27(金) 00:09:18.47 ID:2darJ9Q20<dd>\x20メール欄が壊れまくるな\x20 \x20htmltodatByFiddlerは\x20 

>196 (>181のコピペ)
2015/02/27(金) 02:01:27.50 ID:p3P4xXWJ0<>\x20メール欄が壊れまくるな\x20\x20 \x20htmltodatByFiddlerは\x20<>
2015/02/27(金) 02:01:27.50 ID:p3P4xXWJ0<dd>\x20メール欄が壊れまくるな\x20 \x20htmltodatByFiddlerは\x20 

上DAT
下html
本文の半角スペースを\x20で表記

>196の書き込み内容 (ギコナビの送信記録)
Body=%83%81%81%5B%83%8B%97%93%82%AA%89%F3%82%EA%82%DC%82%AD%82%E9%82%C8%20%0D%0AhtmltodatByFiddler%82%CD%20

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:08:14.01

空白1つなんて圧縮されて誤差にもならないんじゃね

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:11:22.58

>>197-198
datのファイルサイズが変わる

DAT廃止後にあぼーん検出で再取得必須

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:14:51.79

datにアクセス出来ないんだからdatのサイズはどうでも良い気が

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:16:56.71

datアクセス廃止以降、既にdat取得済みのスレッドに対してhtml2datなプロクシ経由で差分取得することになると
一度ログ消して再取得しなけりゃならん、という程度

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:20:14.27

>>203
それだけ

であればいいけどね
read.cgiのhtml出力仕様がコロコロ変わると大変な事に

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:29:19.06

あーなるほど過去ログが問題になるのか

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:30:24.34

みなさん詳しくどうもありがとう
参考にさせてもらいます

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 02:50:10.62

差分リクエストに1からのDAT送りつけたら…どうなるかはブラウザ次第か
V2Cの場合ログが勝手に再構成されるから問題なかった。再取得操作は不要

ここまで一切弄ってこなくて、SCのCGI経由クロール判明以降も全く弄ってなかったんだし、変わる可能性は薄いと思うけど
API流用型の改造も出てきてる今、現状使用者は相当少なくなるであろうこの手の串対策に変えてくるかなあ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 03:30:37.58

PC用は回避方法は分かったが、スマホは回避方法あるの？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 03:42:52.44

>>207
>差分リクエストに1からのDAT送りつけたら
クラウド鯖使うようになった初期の頃を知らんのか・・・
今年の１月後半ぐらいなんだがな

差分取得する毎に「あぼーん検出→再取得」のコンボだったよ
あぼーん検出不可なブラウザはどうなるか知らん
少なくともギコナビは取得済みから -8 Byteでリクエストしてこの 8 Byteが違っていたらあぼーん検出
かちゅ～しゃ+kageの方は -1 Byteでリクエストして受信した最初が \x0A じゃなければあぼーん扱い

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 03:46:27.31

ギコナビは16byteじゃなかったっけか

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 04:05:24.38

ごめん 16 Byteだった

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 04:48:57.48

>>209
いや検出からの再取得じゃなく、串が動いたのは最初の1回のみで、何くわぬ顔でDAT再構築したんだよV2C

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 04:52:59.54

あ、いや見間違いだ普通に2回動いてたわすまん

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 09:09:21.05

node.jsで新APIを利用する簡易串のコードサンプルを書いてみたんだが
新APIの仕様についての話題は、このスレでいいのか？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 10:07:18.29

どうぞどうぞ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 10:38:19.06

node.js用新API串サンプル
http://pastebin.com/VGTR7Sf0

セッションIDを起動時に取得したまま、ずっと使い続けるテキトー実装だけど
セッションの有効期限って、どれくらいやろ
あと、if-modified-since、rangeリクエストをそのまま通過させてAPIに投げると
更新なし時にステータスコードが200で、bodyが404の返答があるのは何でや

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:20:05.06

これ↓のことかな？ならバグみたい

778 ：名無しさん＠お腹いっぱい。 [] ：2015/02/27(金) 10:27:03.28 ID:+kID8sEa0 (7/7) [PC]
>>771
これはAPIの仕様かバグですね
ステータスコード 206 で返るべきところ、ステータスコード 200で返って来るので再取得が走ってしまう
一応対処は可能だけど、これは他の専ブラも困ってるはずで、API側で直してくれるかも
山下、これ直しとけよ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:22:38.01

>>217
ソースどこよ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:25:31.26

>>218
http://anago.2ch.net/test/read.cgi/software/1424315959/778

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:26:19.12

V2C_R78スレ見てよ　

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:29:38.83

>>216
windowsで動いてる
サンクス

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:41:01.10

>>217
仕様とか言い出すかもなｗ

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 11:44:10.68

俺用メモ
http://anago.2ch.net/test/read.cgi/software/1424327586/
>>835

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 12:49:39.53

>>216
これとNode.jsとPython 2.7があれば良いのかな？
後でやってみよう

Node.js
http://nodejs.org/download/
Python 2.7
https://www.python.org/downloads/

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 13:10:51.81

>>217
206は返ってきているようだが、304 Not Modifiedが返ってこないな
というより、20xのときは直にdatアクセスしたときの同じようなレスポンスが返ってくるから
サーバーが内部的にリクエストを転送してる気がする
if-modified-sinceヘッダーを取り除けば、問題は無くなりそう

>>224
ソースからインストールする場合と書いてあるから、Pythonは要らないかも

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 19:47:06.05

>>19にhtmltodatByFiddlerからBeとhrefの処理コピペして
email-protectionが無い場合はそのままmail返すように変えて使ってみたよー
htmltodatByFiddlerの場合はemail-protectionを>>19のように'X'までにするように直す必要があるね
本文のemail-protection処理はどっちも必要

ってかJSとか弄った事ないからよく分からねー

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 19:59:58.01

今までのローカルにある過去ログとの共存は可能？
結構なログをローカルに溜め込んでいるのよね

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 20:09:26.60

216走らせると「proxy server is listening on port 8088」って出るけど、この状態でポート8088経由すれば
API使ってることになるのかな？API使用してる確認法がわからん・・・

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 20:37:55.59

>>228
ローカルであればプロキシ設定にlocalhost:8088と指定すれば使えているはず
一応、サンプルコードなので実用には注意

78行目あたりに
console.log(response.headers);
とか追記しておけば、APIにアクセスする度に返ってきたヘッダーを出力してくれる

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 20:44:48.19

>>216
セッションの期限は2chmateだと55分でセッションID取り直しているみたいだから1時間くらいじゃね？

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 21:11:11.80

しばらく放置してるけど、未だに期限切れないので数時間は有効
実装いいかげんやな

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 22:34:08.15

rokkaと同じなら24h有効だな

**名無しさん＠お腹いっぱい。** · 2015/02/27(金) 23:31:38.98

>>216
仕様だ諦めろ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 02:18:07.46

htmltodatByFiddlerは派生が、たくさん出来ていてどれがいいのか分からない・・・・
どれが最新なんだろうか

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 02:39:26.18

>>233
山下SpyleはAPIのバグで近日中直すって言ってたけどな

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:23:39.36

技術ない山下がAPI書いてんのかそりゃクソになるわ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:28:06.57

ソフト404わろす

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:35:01.01

Styleスレ見てきたけど検証してみるとか言ってるだけでAPI直すなんて書いてなかったぞｗ
「API側の不具合で近日修正予定とのことです」とか言ってるし鯖のAPIなんて弄れないでしょ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:45:52.63

“２ちゃんねる”専用ブラウザー「Jane Style」のテスト版v3.80β、新APIをサポート - 窓の杜
> 　なお、新しい“２ちゃんねる”のAPIはまだテスト中で、差分取得リクエストに失敗して「Jane Style」の
> タイトルバーが赤色になることがあるという。これはAPI側の不具合で、近日修正される予定。
http://www.forest.impress.co.jp/docs/news/20150223_689599.html

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 04:53:25.87

APIはCMって聞いたぞ
山下が開発してんのか？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:02:32.96

>>240
CMでしょ
広告部分は分からんけど

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:18:21.95

山下がCMあたりに鯖を直してくれと頼みこんでいるんだろ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:25:11.89

豆腐付きでレスしてる奴がちょいちょい目につくようになってきたぞ

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 05:37:26.24

豆腐？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 06:32:12.65

あー、もしかして最後に□が付いてるやつはそういうやつか
最近全然プロクシとか縁のなさそうな別スレで気になってた

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 07:21:49.36

��

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 08:17:44.68

>>216
XPでも動作しました、ありがとうございます。
というかNode.jsが動く環境なら2000でもいけそうだね。

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 09:00:57.92

JaneStyle入れてみたけど、デフォルトで起動した後の
20年前くらいのVC++で作ったようなダサい画面構成をみて
そっとアンインストールした

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 09:13:09.45

誤爆すまん

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 10:36:41.13

>>216 のスクリプトと >>224 の node.exe (Windows Binary)
でギコナビでも行けた。環境は32bit版windows7
しばらく様子を見てみようと思う。
ありがとう！

**anonymous@ne.jp** · 2015/02/28(土) 21:35:46.91

html2datキラー

**anonymous@ne.jp** · 2015/02/28(土) 21:47:58.21

html2datキラーはこっちだった模様

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:21:39.86

何これ？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:23:34.03

>>253
普通のwebブラウザでこのスレ見てみな？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:29:02.66

>>252 のレスは専ブラでは読めるが一般のブラウザでは読めない。
htmlソースを見ればわかるがemail-protectionのデコード処理が
名前欄やら投稿日やらを全部食ってしまってる感じ。
html2datキラーでなくread.cgiキラーだ

**ﾉtasukeruyo** · 2015/02/28(土) 22:31:25.47

>>254
よく分からん。

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:36:39.00

その後も色々おかしくなってるな本来の>>252が消えて>>253が>>252になって>>253が無くなって>>254がおかしくなってる

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:38:40.39

あら、ここってﾉtasukeruyo使えないのか。
一般のブラウザで開いて見たが、>>255のようにはならなかった。
やり方が悪いのか環境が悪いのか……

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:44:29.32

>>258
> 一般のブラウザで開いて見たが、>>255のようにはならなかった。
「全部表示」で見ただろ。「最新50」とかで見てみ
email-protection処理はなんか数に制限あるみたいだから
レス数が多いと途中から利かなくなる

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 22:53:39.86

しかし誰もメアドなんか真面目に入れないのにちゃんと
email protection してくれてんだな。
してくれない時もあるってのがアレだけど

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:02:19.46

これだからShiftJISは

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:16:24.40

>>259
おお、確かに欠けた。面白い。

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:18:12.68

>>255
IE11とGoogle Chromeでは>>251-252ともメール欄を含めて正常に読めてるが、他のブラウザでは変になるのかな？
↓
251 ：anonymous@ne.jp：2015/02/28(土) 21:35:46.91 ID:HNZCqnK30
html2datキラー

252 ：anonymous@ne.jp：2015/02/28(土) 21:47:58.21 ID:I6kPaz/J0
html2datキラーはこっちだった模様

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:20:35.29

でもこれ、ちゃんと踏まえた処理入れればhtml2datは普通にできるよな
char変換だけだと曜日とか一部化けるから、言語のエンコード系機能かなんか使う必要あるけど
単なるWebブラウザ殺しだわ

**263** · 2015/02/28(土) 23:22:16.76

>>259
なるほど、やっと理解した。IE，Chromeとも「最新50」で>>257と同じ現象が起きてる。なんてこった…

◆0X7hT.k8kU · 2015/02/28(土) 23:23:17.89

>>264
CFがぶっ壊れて名前欄とID欄が消えるから無理

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:31:28.32

Email Protection＋ダメ文字でHTMLがおかしくなる件はこのスレで報告されて
Email Protectionをオフにする要望も出てるけどスルーされてる

修理場　 Carpenter Part.4
http://carpenter.2ch.net/test/read.cgi/operatex/1421829594/

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:32:37.10

>>266
いや、無理じゃないよ
閉じタグが誤ってエンコードされてるだけであってデコードすればちゃんと全部出てくる

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:33:15.89

>>266
いや余裕余裕
#からXの間を変換して/cdnからXまでと置き換えるといつも通りのhtml
あとは他と同じようにパースして整形

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:36:16.11

閉じタグというか">か

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:38:56.52

ちなみに、確認してみたところhtmlクロールしてるscは問題なく処理してる模様

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:38:59.46

;>こうなるのが原因？

**名無しさん＠お腹いっぱい。** · 2015/02/28(土) 23:40:40.77

バックスラッシュ(いわゆるダメ文字の2バイト目)で"がエスケープされちゃうのが原因

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:01:44.94

書き込みテストも兼ねて
>>234
http://anago.2ch.net/test/read.cgi/software/1424702481/384
これは？

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:14:50.13

>>271
意味が無え…。

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:16:03.09

>>273
あーなるほど、そっちか

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:27:32.24

>>274
それはダメというか書いた本人がどこかのスレで言ってたような

けどここに書き込みしてる人たちのスキルは高そうなので
そのうちいいものができそうな気はする

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:27:46.34

>>271
連中なかなかやるね

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 00:32:16.01

>>278
そりゃ専門にやってるんだからすぐ気付くだろう
こっちでも何日もかからず気付いたわけだし

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 01:29:13.11

>>279
そうなんだけど、なんと言うかイタチごっこが無意味なくらい、何をやっても涼しい顔で付いてくるだけの技術があるって感じがね
当たり前っちゃ当たり前なんだけど、今の2chの運営って技術力からっきしな連中しかいないから

**名無しさん＠お腹いっぱい。** · 2015/03/01(日) 01:33:54.42

そもそもこれただのバグでしょ
直す気がないんだか直せないんだか知らんけど