gcc3が難しい最適化するようになって遅いからだろ。
バイナリ実行速度だけを比べたいなら2.0上で1.6.2のbuildしてみ。