ファイル数が多いってどのくらいなん?
当方もDebian(Sarge)+Proftpd1.2.10だけど特に問題は無いなぁ。
ファイル数は多くても数百どまりだけど。

> FS: using system readdir()
> を数十回繰り返した後に、

FSが壊れているとか、HDDそのものが死にかけとか...
まぁ、コンソールからls -l しても問題ないのなら
やっぱりProftpdの方なんかな。