いや、隣国には江戸屋敷の話を断ってる家老がいるからな
主家を立てる、二心無きを示す、というような意味で辞するのが常だろう