testコマンドでファイルサイズの比較のオプションは用意されてないのでしょうか？
ls fileA | awk '{print $5}' ってな感じで抜き出して比較しないとダメですか？