Hadoop隐藏目录查看方法及HDFS配额计数异常问题排查

1. 如何在Hadoop中列出隐藏目录？ #

要在HDFS里查看隐藏目录（以及隐藏文件），只需要给ls命令加上-a参数就行——这个参数会显示所有条目，包括以.开头的隐藏内容：

hdfs dfs -ls -a /目标路径

举个实际例子，如果你要查看/user/hdadmin下的所有隐藏内容，就运行：

hdfs dfs -ls -a /user/hdadmin

2. HDFS配额报错：条目数超出配额的原因及隐藏目录解析 #

问题核心拆解 #

你给/user/hdadmin/directorio_prueba设置了4的命名空间配额，但上传3个文件后传第四个时触发报错，显示当前条目数是5。首先要明确：HDFS的命名空间配额统计的是「目录本身 + 目录下所有文件和子目录」的总数，不是单纯的文件数量。

为什么条目数会到5？ #

你创建的directorio_prueba目录本身会被算作1个条目，加上你上传的3个文件，此时总数刚好是4，触达了配额上限。但当你尝试上传第四个文件时，HDFS会先创建一个临时复制文件（格式通常是._<文件名>.COPYING），这个临时文件也会被计入命名空间计数，此时总数就变成了1（目录）+3（已上传文件）+1（临时文件）=5，直接超出配额，所以触发报错。

关于隐藏目录的说明 #

HDFS和本地Linux文件系统不一样，它根本不存在.（当前目录）和..（父目录）这两个特殊条目——因为HDFS是分布式文件系统，目录结构不需要这类本地文件系统的引用，你直接通过完整路径就能访问任何层级的目录。

你用hdfs dfs -count -q -h -v查到的隐藏条目，大概率是HDFS在文件上传过程中生成的临时复制文件（以.开头，带.COPYING后缀）；如果之前有上传失败的情况，也可能残留这类临时文件。少数情况下，某些工具操作HDFS时也会生成以.开头的隐藏目录，但最常见的就是上传阶段的临时文件。

验证方法 #

你可以运行以下命令查看目录下所有隐藏内容，直接确认它们的类型：

hdfs dfs -ls -a /user/hdadmin/directorio_prueba

内容的提问来源于stack exchange，提问作者Sergio6Rey