旦那さんと育ってきた環境が違いすぎて後々辛くなるのではと心配