正直はっきりダメと言えないくらい周り気にしなきゃいけないなら、ご近所付き合いとるか、家をとるかの選択しかないんじゃないの。
子供なんて鳥頭だしはっきり言われないと絶対わからないんだから。