というか、Web巡回ロボットエンジンってフリーでないっすか？
アルゴリズムの説明でも可。わかれば作るし。

検索の方は、Namazu?とかあるみたいやけど。