以下のような.htaccessを書いたのですがうまく動作しません
DirectoryIndex my.cgi
RewriteEngine On
RewriteCond %{REQUEST_URI} ^(t(est)?)/
RewriteRule !\.(css|js|gif|jpg)$ my.cgi [NC,NE,L]

※URLはディレクトリ以下のパスのみの記載です
/ => DirectoryIndexに従いmy.cgiにアクセス/画像等はRewriteRuleに従い問題なし
/test/test.cgi => RewriteCondに従いtestまたはtディレクトリ以下にアクセス(問題なし)
/login/ => File does not exist: ...login(my.cgiにアクセスしない)

エラーについては当初正しくmy.cgiが起動されていましたが、
3行目のRewriteCondを追加したらうまくいかなくなりました(コメントアウトすると今でも正常)
ですが、どうしてエラーになるのかがわかりません。

・testまたはtディレクトリにアクセスされたときはリクエストどおり実行
・画像(等)以外へのリクエストはmy.cgiへ転送
ですので、理屈は通ってるようにも思えるんですが、何がよくないんでしょうか