重いって言うやつのために調べてみた。
http://tools.pingdom.com/
一応全部日本国内の各CMSのメインサイトね。

http://www.joomla.jp/
Total loading time: 12.2
secondsTotal objects: 69 (466.4 KB)
External objects: 3 (22.9 KB)

http://plone.jp/
Total loading time: 6.5
secondsTotal objects: 7 (119.3 KB)
External objects: 0

http://drupal.jp/
Total loading time: 8.7
secondsTotal objects: 38 (120.8 KB)
External objects: 2 (1.7 KB)

http://www.typo3.co.jp/
Total loading time: 7.4
secondsTotal objects: 20 (153.4 KB)
External objects: 2 (25.2 KB)

http://xoopscube.jp/
Total loading time: 7.4
secondsTotal objects: 27 (89.2 KB)
External objects: 1 (21.4 KB)

トップページだけだし、サーバ違うし、その時のトラフィックや外部ファイルの数など
正確には比べられないけど、これを見る限りオープンソースCMSは似たり寄ったり。
で、おまいらが遅いって言ってるサイトはどのくらいなの？