漢地蔵、一夫多妻制の国に行くことを決意