ドラッグしてマップ移動ってあまり一般的じゃない。

一般的には、画面の端が「スクロール指示領域」になっていて、
そこでクリックするとスクロールが行われるタイプの物が多いのではないか？

なお、ドラック移動するならやるとしたら右ドラックで実装したほうが良いとおもいます。