Docker部署HDFS数据无法持久化：ClusterID不兼容问题求助

问题现象 #

使用Docker Compose部署HDFS集群后，执行docker-compose down停止集群并重新启动时，DataNode抛出如下错误：

java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-hadoop/dfs/data: namenode clusterID = CID-846f2da4-7fad-40c7-891b-97ac6653031a; datanode clusterID = CID-c9ba5304-0c5b-4564-83fe-aaf6c2e3e019

问题原因 #

你的docker-compose.yaml中，NameNode的环境变量ENSURE_NAMENODE_DIR设置为/tmp/hadoop-root/dfs/name，但实际挂载的宿主机目录对应容器内路径是/tmp/hadoop-hadoop/dfs/name，两者路径不匹配。每次重启集群时，NameNode找不到指定的ENSURE_NAMENODE_DIR目录，会自动重新格式化NameNode并生成新的ClusterID；而DataNode挂载的目录保留了旧的ClusterID，导致两者不兼容。

解决方案 #

1. 修正NameNode的环境变量配置 #

修改docker-compose.yaml中NameNode的ENSURE_NAMENODE_DIR值，使其与挂载路径一致：

namenode:
  # ... 其他配置保持不变
  environment:
      ENSURE_NAMENODE_DIR: "/tmp/hadoop-hadoop/dfs/name"

调整后，重启集群时NameNode会识别已存在的元数据目录，不会重新格式化生成新的ClusterID。

2. 修复当前不匹配的ClusterID #

如果已经出现ClusterID不匹配的情况，按以下步骤修复：

• 停止所有HDFS容器：

  docker-compose down
  

• 查看NameNode挂载目录下的version文件，获取正确的ClusterID：

  cat ./hadoop/name/current/version
  

  找到类似clusterID=CID-xxxxxx的行，记录该值。
• 编辑DataNode挂载目录下的version文件，将其中的clusterID替换为NameNode的ClusterID：

  vi ./hadoop/data/current/version
  

• 重新启动集群：

  docker-compose up -d
  

3. 可选：开启元数据自动恢复（推荐） #

在你的config配置文件中，取消注释以下配置，让NameNode重启时尝试恢复元数据，降低重新格式化的风险：

HDFS-SITE.XML_dfs.namenode.name.dir.restore=true

内容的提问来源于stack exchange，提问作者Anagnostou John