モードの切り替えによる操作手順は確かに増えるが、モードがあることによるメリットもある
・たとえば行の中ほどにカーソルがあり、下に新しい行を追加し、そのまま入力を行いたい場合、oを押すだけでよい
・たとえばカーソルの下にある1文字を削除する場合はxを押すが、モードの切り替えはない

Vimを使い続ける人はこのメリットの方が、モード切替の手間よりも大きいと感じてるんでしょう。