如何查询HDFS缺失数据块的最后已知存储节点位置

这类历史存储位置信息默认是存在的，你使用fsck和oiv工具未查询到，是因为默认的导出和查询逻辑仅展示当前可用的副本位置，未包含已失联节点的历史记录，可通过以下方式查询：

方法1：调用HDFS内置块查询命令 #

如果你的集群版本在Hadoop 2.8及以上，可直接给fsck命令增加扩展参数查询内存中留存的历史记录：

hdfs fsck -blockId <目标数据块ID> -locations -showStaleStorage

返回结果中会列出该块所有曾经关联的存储节点，包括当前处于停机状态的节点信息。
如果集群版本低于2.8，可使用专门的块位置查询命令：

hdfs getStorageLocations <目标数据块ID>

方法2：解析NameNode EditLog获取历史记录 #

如果块的相关记录已经从NameNode运行内存中清理，可以通过解析历史EditLog获取：

1. 找到NameNode的EditLog存储目录，默认路径为${dfs.namenode.edits.dir}/current/
2. 使用HDFS自带的oev工具将二进制EditLog转换为可读的XML格式：

hdfs oev -i edits_<起始事务ID>-<结束事务ID> -o editlog_output.xml

3. 在导出的XML中检索对应块ID的ADD_BLOCK、REPLICATE_BLOCK类操作记录，其中会记录该块历次分配的DataNode节点ID与访问地址。

方法3：检索NameNode运行日志 #

NameNode的运行日志会记录所有块的副本上报、分配、删除操作，直接检索对应块ID即可找到最后一次上报该块的节点信息，默认日志路径为${HADOOP_LOG_DIR}/hadoop-hdfs-namenode-*.log，检索命令参考：

grep "<目标数据块ID>" ${HADOOP_LOG_DIR}/hadoop-hdfs-namenode-*.log

额外说明 #

• 若集群开启了块删除延迟配置项dfs.namenode.startup.delay.block.deletion.sec，已丢失块的历史记录留存周期会更长，查询成功率更高
• 如果损坏文件属于已经删除后进入回收站的文件，需要额外检索回收站创建时间对应的EditLog和日志段

内容的提问来源于stack exchange，提问作者jdex