20000はきつかろうなぁ。
>>347が言うとおりだと思う。

別にマップの管理と実際の画面に違いがあっても良いわけだし。
実際にAgeOfEmpireとかも、マップ自体は100x100とかで最大256x256だったかな？
で、ユニット数は1国最大200だったかな。で8名だから1600ユニットか。

1マスで小さな建物ひとつとかの単位で管理して、
ユニットは別管理にすれば、全然楽勝でできる。
だって、AgeOfEmpireとかもう10年以上まえのゲームでやってたんだから。
いまなら、もっと楽に作れるんじゃない？