それまでの、そしてこれからの付き合いによるでしょ。

うちは妻の母親の配偶者宅に「帰省」してるよ。
妻が家を出た後に再婚したから、妻にとっても義理の父親ですらない。
もちろん結婚式にも出てもらった。便宜上「父」にした気がするが。

姑さんのところにお子さんを連れて行く場合、その配偶者さんのお宅を
訪問することになるなら、お宮参りに来るのもおかしくはないと思う。
逆に旦那さんも自分も、その配偶者さんのお宅には一歩も踏み入れないという
確固たる決意があるのなら、その理由とともに説明して今回も辞退して
いただいたらよいのではないだろうか。