>>892
ロボットはリファとかの情報からでもクロールしてくるから一概には言えない。
そのページからどこかへ飛ぶとか飛んできたならそこから辿れるから。
それに、アクセス規制していない場合はクロール禁止のメタ埋め込んでなかったら来られても仕方ないんだよ。
でもメタ埋めてても、法的に効力はないし従わなければならないって事はない。
一応大手のクローラーは今のところは守ってくれてる様だが、過去には無視してたクローラーもあったので
Httpでは、規制してない＝公開だから自衛しないとダダ漏れと思って間違いない。