この場合、遅くなるの意味は2通り考えられます。
再生が始まるのが遅いという意味と、曲のテンポが遅いという意味です。
前者の場合元の音楽の先頭に無音部分が入れられてるのが原因かもしれません。
後者の場合は自分でテンポが遅くなるように設定してしまってる可能性があります。
剣の振り方と合わせて再確認してみてください。