原因わかりました。chcp 65001だとバッチファイルが動かないみたいです。

直接、
 ruby (rubyインスコしたディレクトリ)\bin\autotest
としてautotestを起動したら無事に動かせました。

irbとかは chcp 65001だと日本語入力がそもそも効かずだめですねw

ありがとうございました。