test をディレクトリではなく、
hoge.php を test というファイルにリネームして、
.htaccess か httpd.conf で
<Files test>
SetType application/x-httpd-php
</Files>
と PHP スクリプトとして起動できるように設定しておけば、
mod_rewrite なしで PATH_INFO から情報取得できる。

あるいは、httpd.conf で
Action hoge-handler /somewhere/hoge.php
<Location /test>
SetHandler hoge-handler
</Location>
としてもいいかもしれん。この場合は PATH_TRANSLATED だったかな？

以上、まったく動作確認してないので、ウソ書いてるかもしれん。