NFSv3 で同じLANにつながっているマシン同士ではサクサク
ファイル公開できているんだけど、セキュリティ上の理由から
TCPしか通してくれないL3スイッチ越しの隣の部屋のNFSサーバの
ディレクトリを NFSv4 でマウントしたら ls に引っかかる。

ファイルの読み書き、でっかいファイルの転送速度に関しては
たいした違いも無いんだけど、 ls で引っかかる。数秒。
何が原因なんでしょうか？

当然 portmap なんかも通らないんですが、それが原因
なんでしょうか・・・でも NFSv4 だしなぁ。2049/tcp
だけで使えると思うんだけど。