ダメダメhatはLEDを点灯しないようにしておけばいいんじゃないですかね、それで温度ズレは減るはずです
LEDマトリクスが動作しないhatにどれ程の価値があるかはわかりませんが。

基板そのままでいいから発熱誤差を生むLED関係を実装しない、センサーだけhatも発売すべきだな