Pound使ってるとApacheにPoundのIPアドレスが渡ってしまうから
アクセス制限かけられねーよ…と思っていたら
mod_extract_forwarded2
なるものがあるのね

debian用パッケージはないのね