っていうか、CPANみた？...ってPerlに限らないのか。
オープンソースのソフトもたくさんあると思うんだけど。

起点となるHTMLを取得する
→ HTMLをパースしてリンクを抽出する
→ そのリンクを読みにいく
→（くりかえし)

ってのが知りたいの？