portupgradeでpkgtools.confを使ってビルドオプションを変えているな。
ソースからのビルドだって1台だけなら重いけど、複数台だったらpackages作っちゃう。

aptではコンパイルオプションが違うのは全部別バイナリになっているの？