我が家と隣の家の間にはそれぞれ低い塀があるのですが、今現在、隣に住むご夫婦が塀の掃除をしています
ただ掃除をされる分には構わないのですが、塀の外側(我が家側)を掃除するために勝手に我が家の敷地に入ってきています
正直なところ無断でズカズカと敷地に入ってこられているため、やめて欲しいです
しかしこれまで隣人とは騒音やら別件で何度も口論しており、これ以上関わりたくはありません

どうすれば良いのでしょうか？
やはり直接言うしかないのでしょうか？