1個しか動かないんなら、どれが動いたかをhiddenにもっておけばいいような。
どこにってのも、動いた先の前要素(または後要素)のいずれかを持っておけばよいような。
ってやれば結果配列を持つ必要なくね？