ふと思って physical-line.el を試してみたけど、
動きがフツーになってるね。

最近 vertical-motion がまともになったのかな？