大丈夫だよ。
スピーカーにしない限り、電話の相手の声が聞こえることはないから。