でも起動時間を短くしてくのは楽しいからなあ。
確かに package は直接インストールしたのに比べて重いほうだよね。

package-initialize のやってることちゃんと確認して
(setq package-enable-at-startup nil) にして
package 追加削除するときに autoload ファイルをまとめる処理を自分で書けば
軽量なロードがかけるかもしれんね。