側室じゃなくても侍女などに子供を産ませた場合も多いし
逆に正室や側室でも殆ど別居状態で顔を会わせなかった場合もあるし
人数は全く問題ではない