それは負荷がかかってるわけじゃない　時間がかかってるだけ
送信先メールサーバの名前解決をしてユーザがそんざいするかとか
今送れるかどうか問い合わせたり
相手が忙しいと待たされたり
とにかくメール送信が負荷よりも時間のほうがかかる
もし自サーバになんらかの負荷がかかってればsendmailは自動的に待ち状態になる設定になってるはず