とりあえず使ってるFTPデーモンが分からないことには何とも言えないと思う。
あとどのプロセスがメモリを食ってるのか。