元々三河の小豪族、つまり外様だからな
江戸時代に外様大名が幕府の要職についたことはない