文脈にもよるだろうけど、一般論としてはイヤミととられたくないときには
なるべく別の言い回しを考えるんぢゃない？