javaで似たようなことやったことあるけどそういうクリッカブルなMAP作るときは
まずレイヤシステム作ってそのレイヤが各イベントに反応するようにしてたよ。

あとはレイヤを張り付けていくだけだった。