全文検索エンジンEstraier

**名無しさん＠お腹いっぱい。** · NG

個人用途向けの全文検索エンジンEstraierに関する話題を扱う
スレッドです。

http://estraier.sourceforge.net/

**名無しさん＠お腹いっぱい。** · 2006/07/24(月) 21:34:04

>>738
ﾄﾝｸｽ。

**名無しさん＠お腹いっぱい。** · 2006/07/27(木) 21:09:15

質問:
検索結果を重要度が高い順に並べたりしてくれるような機能ってありますか？

msearchを使っているのですが、更新が新しいもの順とか、アルファベット順とか
そんな機能しかないのです。

**名無しさん＠お腹いっぱい。** · 2006/07/27(木) 21:27:27

>>740
はい

**740** · 2006/07/27(木) 23:13:06

まじですか？
導入検討します

**名無しさん＠お腹いっぱい。** · 2006/07/31(月) 14:19:32

Estraierで言うところの重要度って何を元に重要度としてるの？
ページの<title>タグとか<h>タグとかを見てたりするの？

**名無しさん＠お腹いっぱい。** · 2006/07/31(月) 17:37:11

>>743
ヒント　ユーザーガイド

**名無しさん＠お腹いっぱい。** · 2006/07/31(月) 17:49:42

HTMLの要素の意味とかは特に斟酌しない。基本的には、タグはぜんぶとっぱらっ
て、テキストをぜんぶくっつけたものとして取り込んでいると考えてさしつかえない。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 00:02:13

キーワードを登録して重み付けする機能はあるけど。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 02:21:59

>>745
読んでる部分はある。titleと、、、あとなんだっけ？

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 02:50:24

>747
metaとか見てる筈。でもそれくらい。
title は @title 属性にもなるし、本文にも隠しテキストとして入っている。

という話はややっこしいので、 743 にはああ書いた方が伝わると思ったんで
あのように書いた。少なくとも h1 とかで重要度とかいうのは考えてないです
よという感じ。

そもそも 743 の考えている重要度ってのがおれにはよくわかってないんですが。
基本的には H.E. では単語の重要度には Tf-Idf を使ってるよ、てのが答えに
なっているのかな。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 03:13:49

estwaverを動かそうとしたらSegmentation faultで落ちるのでがっかり。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 07:22:46

俺は、qdbmコンパイルするときに、最適化オプション付けまくったらSEGV。
estcmd gatherでもだけど。

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 20:36:06

NAMAZUは<title>とか<meta>以外にも何か読んでる？

**名無しさん＠お腹いっぱい。** · 2006/08/01(火) 21:22:35

なぜそれをここで聞く

**名無しさん＠お腹いっぱい。** · 2006/08/04(金) 07:36:15

文書ドラフト（中間フォーマット）について教えてほしいのですが
これは普通（マニュアル通り）に記述してインデックス作成すれば検索できるように
なるのでしょうか？
マニュアルにある「若者たち」をやってみたのですが、検索されません。
どうしたらいいでしょうか？

**名無しさん＠お腹いっぱい。** · 2006/08/04(金) 09:01:44

「どうしたらいいでしょうか？」なんて質問にまともに答えられるわけないだろ。
インデックスを作った時の操作が間違ってるとした言えない。

せめて、実行したコマンドを張り付けるとか、ログを張り付けるとか、実行環境について書くとかしませう。

**名無しさん＠お腹いっぱい。** · 2006/08/04(金) 15:49:18

ありがとうございます。はじめたばかりの初心者です。すいません

# estcmd put casket /home/date.est
estcmd: ERROR: casket:invalid argument

# estcmd version
Hyper Estraier 1.3.4 on FreeBSD
date.estはUTF-8で記述してあります。

実行前には普通にインデックスをは作成しました。

**名無しさん＠お腹いっぱい。** · 2006/08/04(金) 23:34:30

ちゃんとcasketがあるディレクトリで実行してる？

**名無しさん＠お腹いっぱい。** · 2006/08/04(金) 23:46:21

@uriっていう属性がないと登録できないんだけど、ちゃんと入れてる？
@urlじゃだめだよ。それでダメなら、date.estの中身を見せてみ。

**名無しさん＠お腹いっぱい。** · 2006/08/05(土) 04:28:10

>>757,756
ありがとうございます。登録する事が出来ました。@uriの記述でした。

文書ドラフト形式の登録の場合、ファイル毎に登録しなければならないでしょうか？
一括で登録する方法ってありませんでしょうか？
よろしくお願いします。

**名無しさん＠お腹いっぱい。** · 2006/08/05(土) 04:49:51

>>758
文書ドラフトであってもestcmd gatherで登録できる

**名無しさん＠お腹いっぱい。** · 2006/08/16(水) 10:17:26

1.3.7 ageSSL対応期待.使える?

**名無しさん＠お腹いっぱい。** · 2006/08/17(木) 20:42:06

estcmd draft -fh -il ja (file)
ファイル名をつけると
# 1;2c1;2c1～
と表示します
ファイル名無しだとフリーズするのですが、どうすればいいのでしょうか？

**名無しさん＠お腹いっぱい。** · 2006/08/18(金) 05:22:14

フリーズっていうか、標準入力を読もうとしてブロックしてるだけじゃん。

**名無しさん＠お腹いっぱい。** · 2006/08/18(金) 14:43:03

これって、Cygwinで使えますか？

**名無しさん＠お腹いっぱい。** · 2006/08/18(金) 18:17:53

>762
ありがとうございます。
標準入力ってどんなの？
普通のHTML文章じゃダメなのかな？

**名無しさん＠お腹いっぱい。** · 2006/08/18(金) 21:37:48

>764
お前の理解力に合わせて言うとキーボードからの入力待ち状態だと思ってさしつかえない。
っていうか勉強しろ。

ちなみに、 fh をつければ、ちゃんと HTML として解釈してくれる。

**名無しさん＠お腹いっぱい。** · 2006/08/18(金) 21:45:05

ありがとうさん
コマンドオプションにfhをつけてるが？

**名無しさん＠お腹いっぱい。** · 2006/08/19(土) 20:44:11

>763
CygwinでなくてネイティブWin32版が出てる。

**名無しさん＠お腹いっぱい。** · 2006/08/20(日) 09:37:25

>>449
WinXP以降ならば
@echo off
for %%A IN ("%ESTORIGFILE%") DO echo "%%~nA" > "%2"

**名無しさん＠お腹いっぱい。** · 2006/09/10(日) 00:27:53

1.4.2が出てるな。疑似インデックスって使ってる人いる？

**名無しさん＠お腹いっぱい。** · 2006/09/13(水) 18:03:11

アップデートしたときはインデックスを再度作り直ししなきゃいけないの？

**名無しさん＠お腹いっぱい。** · 2006/09/13(水) 18:57:12

内部で使っているqdbmの形式が変わってなければ大丈夫のはず。

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 01:40:58

ほとんどがqdbmのアップデートに伴うような・・
変更点とかってどうやって解るの？

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 10:43:16

>>772
それ漏れも知りたい。
ほぼ全てのリリースでqdbmの更新が必要だからな。

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 11:05:50

qdbm の更新は必ずしも qdbm のファイル形式の変更を意味しないよ。
たいていの更新ではファイル形式じたいは変わってないので読み書きできると
思う。なんでそのくせ最新版を要求するのかはよくわからない。

qdbm のバージョンアップに伴い旧形式で読み書きできなくなるときは、作者
の人がそのような注意をアナウンスのときにしている気がする。
けれどそれは何も保証するものではないなあ。

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 11:18:15

そういうのは周辺コミュニティがサポートするもんだがなあ。

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 13:35:46

QDBMは本来の目的意外にもH.E.のためにつくられた汎用的なユーティリティ関数群を
（余所で再利用することを考えて？）H.E.の外部に出しておくためのライブラリとしての側面があるからねえ。

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 14:47:01

H.E.って何？って思ったけど
HyperEstraierの略だったのね^^

でも意味わからなぁ～い
まだまだ未熟ですがご指導お願いいたします。

**名無しさん＠お腹いっぱい。** · 2006/09/14(木) 23:23:46

超迷子だよ。

**名無しさん＠お腹いっぱい。** · 2006/09/15(金) 11:49:52

みんな初心者なのねｗ

**名無しさん＠お腹いっぱい。** · 2006/09/15(金) 15:03:07

とりあえずは qdbm 同梱にしちゃえばいいのにー。
H.E. 側で安定したら qdbm 側に反映するとかー。

**名無しさん＠お腹いっぱい。** · 2006/09/15(金) 17:46:10

同梱しても >>770 の問題は解決されないし、同梱のメリットって何？

せいぜい最新版にしたときのコンパイルがちょびっと楽になるというくらい？
別途に qdbm が欲しい人にとってはかえって面倒なだけだし。

**名無しさん＠お腹いっぱい。** · 2006/09/15(金) 22:10:21

同梱すれば、QDBMとH.E.のバージョンが食い違うというミスは無くせるよね。
それに、ダウンロードする回数も1回で済む。

デメリットに関しては>>781の言う通りだと思う。

**名無しさん＠お腹いっぱい。** · 2006/09/17(日) 07:52:41

case 59: name = "ちょｗｗｗおまｗｗｗいごｗｗ"; break;
case 61: name = "どう見ても超迷子です本当にありがとうございました"; break;

**名無しさん＠お腹いっぱい。** · 2006/09/17(日) 14:32:50

case 51: name = "超迷子は少年を浪費する"; break;
case 53: name = "超迷子さんのすきゃんてぃ"; break;

作者の世代がなんとなくわかるな。

**名無しさん＠お腹いっぱい。** · 2006/09/18(月) 11:50:16

まあ、作者のページには生年月日が書いてあるけどな。

**名無しさん＠お腹いっぱい。** · 2006/09/18(月) 16:54:12

おちゃめさんなんですね

**名無しさん＠お腹いっぱい。** · 2006/09/20(水) 17:21:39

無知な所もありますのでご指導いただければ幸いなのですが
インターフェイルに接続するときに
http://localhost:1978/master_ui等でブラウザからアクセスするのですが
これはポートポート番号1978を使って接続していますよね？
nmapで見てみたら1978は表示しないのですが何ででしょう？

**名無しさん＠お腹いっぱい。** · 2006/09/20(水) 17:36:30

netstat -l すれば？

nmap はデフォルトでスキャンするポートに含まれてないからじゃないの。
-p1978 すれば出てくるでしょ。

**名無しさん＠お腹いっぱい。** · 2006/09/20(水) 23:07:47

w3m から cgi 叩けますか？

**名無しさん＠w3m** · 2006/09/20(水) 23:51:14

cgiは糞。とにかく最低。cgiはマジ氏ねばいい。

**名無しさん＠お腹いっぱい。** · 2006/09/20(水) 23:52:51

>>789
ローカルCGIでもちゃんと動くよ。

**名無しさん＠お腹いっぱい。** · 2006/09/22(金) 02:56:41

logファイルってどうやって読めばいいの？
2006-09-20T14:41:33ZINFO[71]: fetching: 1: http://hpux.cs.utah.edu/hppd/cgi-bin/search?package=on&description=on&term=qdbm&Search=Search
何度トライしても上記でフリーズ？するんだけど

**名無しさん＠お腹いっぱい。** · 2006/09/27(水) 15:37:07

実装メモリが少ない場合はzlibを有効にしないほうがいいですよね？

**名無しさん＠お腹いっぱい。** · 2006/09/27(水) 20:00:32

教えていただきたいのですが
ユーザーガイドに
データをダンプするコマンド
estcmd search -max -1 -dd casket [UVSET]
とあるのですが「UVSET]って何をすればいいのでしょうか？

estcmd search -max -1 -dd casket
これだけだと
estcmd: ERROR: /***/casket: I/O　problem
と表示されます

**名無しさん＠お腹いっぱい。** · 2006/09/27(水) 21:21:21

[UVSET] は [UVSET] のままでいいよ。何かの文字列に置き換えるって意味じゃない。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 01:08:45

estcmd search -max -dd 1 casket [UVSET]
estcmd: No match.

こんなん表示されます。どうしたらいいでしょう

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 02:31:06

それは [] の文字がシェルの特殊文字なんでエラーになってる。 H.E. の問題じゃないよ。

estcmd search -max -dd 1 casket '[UVSET]'
とするとよろし。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 03:21:19

ありがとうございます。動作しました。
しかしながら *.est のファイルが見当たらないのですがどうしたらいいのでしょう

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 10:04:28

-max オプションの引数が -dd になってるからじゃね？
取得最大数を無制限にするなら-1を指定するから、
estcmd search -max -1 -dd casket '[UVSET]'
が正解のような。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 11:44:25

すいませんでした。
転記ミスです。
#estcmd serach -max -1 -dd casket '[UVSET]'
--------[6801AEBA0ECCC85A]--------
VERSION 1.0
NODE local
HIT 33494
HINT#1 [UVSET] 33494
TIME 0.461
DOCNUM 33494

--------[6801AEBA0ECCC85A]--------
--------[6801AEBA0ECCC85A]--------:END

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 14:04:10

カレントディレクトリに*.estを書き出そうとしたけどパーミッションがないとかかなぁ。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 17:15:52

rootで作業しています。
念のためにパーミッションを変更しましたが同様です。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 18:24:27

そうそう、それ聞こうと思ってたけど、なんで root なの？
まあいいけど。

・適当な ID で estcmd get したらできるか
・-max 1 (とか少ない数)にしたらどうなるか、 -dd を外すとどうなるか
・作業場所はどんなところか、残り容量はどれくらいか

とかも確認よろ。

あとありえないと思うけど、 NFS 共有してる場所とか、場合によって root
でも書き込めない場所というのはあるよ。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 19:38:54

お手数かけました。
再度ユーザーガイドを見ながら最初からやり直したら出来ました。

rootで作業は横着したいので作業してます。
閉ざされた環境なので問題ないと思っています。

**名無しさん＠お腹いっぱい。** · 2006/09/28(木) 20:42:35

ええっと解決したときは何のミスだったかとか書いてくれるとうれしい。

一般的な考え方としてはよっぽどの作業(システムに変更を加えるというまさ
にそのアクションそのもの)以外の場合に root を使うのはダメゼッタイ。
環境がどうこうとか、問題がないとか関係なく、やめた方がいいよ。

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 04:34:08

version 1.4.3
クローラの設定ファイル_conf
# text size limitation (in kilobytes)
これって取得するtextのサイズ制限でいいのかな？

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 10:08:44

取得してから抽出するテキストのサイズだろ

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 11:37:11

各コマンドで作成されたファイルを覗きたい時に利用できるedetorって何かありますか？
圧縮されてるから普通のedetorで見れないだけ？
sestseek.cgiも覗いて見たいです。
環境はwin、UNIXどちらでもいいです。

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 11:39:27

edetorってなんだ？

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 12:07:29

エデターだべさ。

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 14:07:29

cgiはCで書かれているだけ。ソースをダウンロードして嫁。

コマンドで作成されたファイルというのが DB のことを指すのであれば、この
構成については基本的にはドキュメントがない。どうしても知りたければソー
スを読むか作者に聞くかするしかないんじゃない。
また、H.E. のDBは基本的には QDBM のDBファイルだろうから、 QDBM のユー
ティリティコマンドでいろいろ弄れることは弄れるはず。

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 14:23:30

何で読めばいい？

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 14:25:59

お好みのエデターで

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 15:04:39

お好みのエデターがね
表示しないのよぉ～
何使ってる？教えて

**名無しさん＠お腹いっぱい。** · 2006/09/29(金) 15:10:00

emacs

**名無しさん＠お腹いっぱい。** · 2006/10/02(月) 15:05:20

ファイル名に“？”や“＝”等の文字が含まれている場合、
INDEXをコマンドを使って作成すると文字が変換されてしまい
検索結果をリンクしても表示されません

特殊な文字を使ったファイル名を別な文字にあらかじめ置き換えておく方法が考えられますが
他に方法はありますでしょうか？
よろしくお願いします。

**名無しさん＠お腹いっぱい。** · 2006/10/02(月) 16:25:02

バグレポートを出す

**名無しさん＠お腹いっぱい。** · 2006/10/02(月) 16:52:34

バグになるのかなぁ～
RFCで定義されてるみたいだから正常だと思うんだけど

**名無しさん＠お腹いっぱい。** · 2006/10/02(月) 18:24:02

> 検索結果をリンクしても表示されません
これは、バグと言えると思うけどなぁ

**816** · 2006/10/02(月) 19:39:48

とりあえずestseek.confのreplaceに記述してなんとか表示するようにしました。

次に困ったら又考えよう

**名無しさん＠お腹いっぱい。** · 2006/10/02(月) 21:41:00

showlreal: true
にすればエスケープしてないファイル名を表示してくれるんじゃね？

**名無しさん＠お腹いっぱい。** · 2006/10/03(火) 16:03:20

estfraud.cgiを利用したい時って
estfraud.confだけを設定したらいい？
それともestfraud.conf+_confの設定？

**名無しさん＠お腹いっぱい。** · 2006/10/04(水) 16:48:26

N-gram戦争中ｗ
全文検索ユーティリティ統一スレッド　part3
ttp://pc8.2ch.net/test/read.cgi/bsoft/1120649196/

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 07:59:33

イントラネットの検索に使おうとしていますが取りこぼしが多いです。
少なくともリンクがダブルクォートで囲ってないと誤動作するようです。HTML
規格違反だとは思いますが。
あとpukiwikiのぺージにはまりこんでしまう問題もなんとかならないでしょうか。

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 08:39:11

HyperEstraierは正確にはN.M-gram(と作者が呼んでる)手法だから、
単なるN-gramとは事情がちょっと違うよなあ。

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 09:10:06

理論通りの N-gram を実装しても、インデックスが大きくなり過ぎて結局使え
ないし。
>>824
そのレベルの問題は作者に報告するのがよかろうに。

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 17:30:08

クローラ単独（初期状態の_confで変更点はURLのみ）で動作してて作成された　~casket/_indexなんですけ
このindexをestseek.cgiで指定して検索した場合って検索結果って表示されますか？

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 19:30:58

>>827
estwaverやestmasterで作ったインデックスも
estcmdで作ったインデックスと全く同じように使えるよ。

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 21:16:19

クローラに取得した時間表記をlocaltime（JST）にしたいときはどうすればいいですか？

**名無しさん＠お腹いっぱい。** · 2006/10/05(木) 23:38:04

estseek.tmplにJavaScript仕掛けて、Dateオブジェクト使って再計算すれば？

**名無しさん＠お腹いっぱい。** · 2006/10/06(金) 14:15:53

クローラが巡回した後にアクセスlogにアクセスが残りますが
このアクセス名を変更したいときはどのようにすれば良いでしょうか？
バージョンだけでも隠匿したいです。

**名無しさん＠お腹いっぱい。** · 2006/10/06(金) 16:37:50

最近社内LAN向けにH.E勉強してるんですが、
estcmd extkeys -um

っつうコマンドは何のために実行するんですか？
「インデックス内の各文書のキーワードを抽出したデータベースを作成します。」となって
いますが、インデックスを形態素解析してキーワードごとに区切り直して何のメリットが？

検索速度、精度に影響あるんですか？

**名無しさん＠お腹いっぱい。** · 2006/10/06(金) 18:34:18

>>826
> 理論通りの N-gram を実装しても、インデックスが大きくなり過ぎて結局使え
> ないし。

へ？
俺200MBくらいの日本語テキストをLuceneのN-gramでインデックス化してるよ？
類似検索とかしなければ、0.1秒で帰ってくる。
マシンはPPCのMac mini。

**名無しさん＠お腹いっぱい。** · 2006/10/06(金) 18:42:05

>>832
類似検索ができるようになります。

**名無しさん＠お腹いっぱい。** · 2006/10/06(金) 20:08:53

>>832
補助インデックスでヒット数が得られれば検索速度が上がる。
そうでない場合でも、検索精度が上がる。

**名無しさん＠お腹いっぱい。** · 2006/10/06(金) 21:24:54

Windows版で申し訳ないのですが estcmd で -attr オプションを付けると HIT 数の表示がおかしくなるみたいです。

たとえば下記の3つの結果が 53, 27, 27 になります。
estcmd search -vu -max 10 -attr "@uri STRINC Win" casket Windows
estcmd search -vu -max 10 -sk 1 -attr "@uri STRINC Win" casket Windows
estcmd search -vu -max 50 -attr "@uri STRINC Win" casket Windows

これは仕様でしょうか？

**名無しさん＠お腹いっぱい。** · 2006/10/07(土) 07:41:25

>>836
スレ違い

**名無しさん＠お腹いっぱい。** · 2006/10/07(土) 10:17:48

板違いなのかな。

>>836
属性インデックスを使わない場合は、ヒントの該当数表示が正確とは限らないから、
それは多分仕様。