HDFS技术咨询：dfs命令显示节点文件系统及分查、存储节点问题

嘿，咱们逐个拆解你关于HDFS的这些问题，都是日常使用分布式文件系统时很常见的疑问：

1. 执行hdfs dfs命令时，显示的是NameNode还是DataNode的文件系统？ #

首先得明确HDFS的核心架构：NameNode负责管理整个集群的元数据（文件路径、权限、块的位置映射等），而DataNode负责存储实际的文件块数据。

当你执行hdfs dfs系列命令（比如-ls、-put）时，你其实是在和NameNode交互，获取的是整个HDFS集群的统一逻辑视图，不是单个DataNode的本地文件系统。你看到的文件和目录结构，是NameNode维护的全局元数据映射，代表的是分布式文件系统的整体结构，而非某台DataNode上的本地存储内容。

2. 如何分别查看NameNode和DataNode的文件系统？ #

查看NameNode的元数据与集群状态 #

• Web UI方式：通过NameNode的Web控制台（Hadoop 3.x默认端口是9870，2.x是50070），可以直观查看集群整体状态、文件系统统计、块分布、NameNode运行指标等核心信息。
• 命令行方式：
  • 执行hdfs dfsadmin -report，可以获取集群的整体健康报告，包括NameNode状态、集群总容量、已用空间、DataNode列表等。
  • 执行hdfs namenode -fsck /，可以检查HDFS文件系统的完整性，该命令基于NameNode的元数据生成，能帮你排查丢失块、损坏文件等问题。

查看DataNode的本地存储 #

DataNode的本地文件系统是它自己机器上的磁盘目录（由hdfs-site.xml中的dfs.datanode.data.dir参数指定），用来存储HDFS的块数据。要查看这些内容：

• 需要登录到目标DataNode机器，用普通的Linux命令（比如ls、df、du）查看配置的本地目录。不过要注意：这些目录里的块文件是HDFS的内部格式，直接打开没有实际意义，而且绝对不要手动修改或删除，否则会导致集群数据不一致。
• 也可以通过DataNode的Web UI（Hadoop 3.x默认端口9864，2.x是50075），查看该节点的存储使用情况、已存储的块列表、节点运行状态等信息，这是更安全的查看方式。

3. 创建文件时，默认会存储在系统选择的DataNode还是其他位置？ #

当你通过hdfs dfs -put或其他命令创建HDFS文件时，文件块的存储位置由NameNode根据HDFS的副本放置策略自动调度，默认策略是：

• 第一个副本：如果客户端在集群内部，就存在客户端所在的节点；如果客户端在集群外，随机选择一个DataNode。
• 第二个副本：放在与第一个副本不同机架的DataNode上（保证跨机架容灾）。
• 第三个副本：放在与第二个副本同机架的另一个DataNode上（平衡性能与容灾）。

你创建的文件在逻辑上属于HDFS的全局文件系统，实际的块数据分散存储在多个DataNode上，但你通过hdfs dfs命令看到的是统一的文件视图，完全不需要关心具体存在哪些DataNode——这也是分布式文件系统的核心优势之一。

内容的提问来源于stack exchange，提问作者Satish Kumar