この場合ルーターは関係ないだろ。
単にルーター内蔵のHubを通しているのを
ルーター経由だと勘違いしてるだけ。

だからpingも通るだろ。
一度、sshdをkillして、
# sshd -d
で起動してみろ。何かメッセージが出るかも。