3/8付けのvm imageで試したけど、10.3RC-2と11.0でも変わらないな
こんな具合で

[pf.conf]
rdr pass on lo0 proto tcp -> 127.0.0.1 port 1
pass out route-to lo0 proto tcp modulate state

[console]
# nc -Nl 127.0.0.1 1 < /dev/null &
# time telnet 1.1.1.1 1
Trying 1.1.1.1...
Connected to 1.1.1.1.
Escape character is '^]'.
Connection closed by foreign host.
3.02 real 0.00 user 0.00 sys

ところで11.0になってもpfのバージョンは4.5なのね
書式が変わるからだそうだけど、いつになったら更新されるのやら