not emptyなら空じゃないからでしょ
パーミッションどうこうでもnot emptyが出力されるはずは・・・

scandir等でディレクトリの中を出力してみたら？
.で始まるファイルを隠しファイルとしている場合がある
「.」「..」は無視な