クッキーを使ったセッションって、通常のHTMLファイルのリンクでも
維持されるものなのでしょうか？

クッキーをブラウザが送ってるのは当たり前として、サーバー側で
そのクッキーを元に、時間カウントをリフレッシュしてるんでしょうか？

こちら、Tomcat4.04 + JDK1.4です。