クローラーって一般的にどんな巡回をするものなんでしょう。
ここ2,3日間、丸一日かけたゆっくりペースで過去記事を総チェックしてるようなページ履歴があるんですが、これはロボットの挙動？
それとnetscape0とかnetscape5とかいうブラウザ履歴がやたら多いんですが、そんなブラウザあるんですか？
ロボットで偽装したブラウザ履歴とか残してくやつでもあるんでしょうか。