ZFってrequire_onceが何度も実行されてるから、読み込みが遅いストレージだとその分時間がかかりやすいとか。
あと、include_pathでZFライブラリがあるpath指定が後ろの方にあるためとか。
うちも開発環境がWin上だけど、ZF使ったからって特別遅く感じたことはないな。