その辺に興味があるのなら処理系のソース読むか「実用Perlプログラミング」(第2版じゃなくて
Sriram Srinivasanが書いた方)の20章「Perlの内部構造」を読むといい。

かいつまんでいると、Perlの配列はCのようにいろいろな型を要素にもった配列ではなくて、全て
Perlのスカラー型をあらわす構造体へのポインタの配列になっている。アドレス順に並んでる
のはこのポインタが並んだ部分だが、君がリファレンスとって見ているのはポインタが入ったハコ
のアドレスではなく、そこに入ったポインタがさした先のスカラーのアドレスなので、これがどういう
順番になっているかはPerlのメモリ割り当てシステムの気分しだい。