まあ、場当たり的に
$man =~ s!([^-\w\200-\377.,:])!!g;
とでもしとけばいいんじゃないの