直接の文書は知りませんが、岩波新書の「武田信玄と勝頼」の中で、

「同年五月二十三日付けの信玄の書状によれば、
家康は「先約」に基づいて遠江の人質を受け取りたいと主張し、
信玄もこれを認めている。
氏真が遠江の武士から取っていた人質を、家康が引き継いだのだと思われる。
これは、家康が遠江に君臨することを意味するが、
そういう「先約」があったわけである。」

とあります。
順当に考えてやはり遠江は家康が領有するという密約があつたということではないでしょうか。