Docker容器中Hadoop-Spark的HDFS数据持久化问题求助

核心问题分析 #

HDFS的数据持久化需要同时保证NameNode元数据和DataNode数据块都挂载到持久化卷，只处理其中一个会导致数据丢失。另外Hadoop容器默认以hdfs用户运行，直接挂载宿主机目录易出现权限不匹配问题。

具体修复步骤 #

1. 调整docker-compose.yml卷挂载配置 #

需同时挂载NameNode和DataNode的容器内目录，优先使用Docker命名卷（自动处理权限适配），示例配置如下：

version: '3'
services:
  namenode:
    image: bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8
    container_name: namenode
    restart: always
    ports:
      - "9870:9870"
      - "9000:9000"
    volumes:
      - hadoop_namenode:/hadoop/dfs/name
    environment:
      - CLUSTER_NAME=test
    env_file:
      - ./hadoop.env

  datanode:
    image: bde2020/hadoop-datanode:2.0.0-hadoop3.2.1-java8
    container_name: datanode
    restart: always
    ports:
      - "9864:9864"
    volumes:
      - hadoop_datanode:/hadoop/dfs/data
    environment:
      SERVICE_PRECONDITION: "namenode:9870"
    env_file:
      - ./hadoop.env

  spark-master:
    image: bde2020/spark-master:3.0.0-hadoop3.2
    container_name: spark-master
    ports:
      - "8080:8080"
      - "7077:7077"
    env_file:
      - ./hadoop.env

  spark-worker:
    image: bde2020/spark-worker:3.0.0-hadoop3.2
    container_name: spark-worker
    depends_on:
      - spark-master
    ports:
      - "8081:8081"
    environment:
      - SPARK_MASTER=spark://spark-master:7077
    env_file:
      - ./hadoop.env

volumes:
  hadoop_namenode:
  hadoop_datanode:

2. 修正HDFS配置文件 #

确保hdfs-site.xml中配置的目录与docker-compose挂载的容器内路径完全一致：

<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

3. 宿主机目录挂载的权限处理（可选） #

如果必须挂载宿主机本地目录，需提前在宿主机给目标目录设置hdfs用户权限（容器内hdfs用户UID通常为1000）：

# 宿主机执行
mkdir -p /your/local/path/namenode /your/local/path/datanode
chown -R 1000:1000 /your/local/path/namenode /your/local/path/datanode

随后在docker-compose中替换为宿主机路径挂载：

volumes:
  - /your/local/path/namenode:/hadoop/dfs/name
  - /your/local/path/datanode:/hadoop/dfs/data

4. 验证持久化效果 #

启动容器后上传测试文件到HDFS：

docker exec namenode hdfs dfs -put /etc/hosts /test.txt

执行docker-compose down关闭容器，再用docker-compose up -d重启，最后检查文件是否存在：

docker exec namenode hdfs dfs -ls /

若能看到test.txt，则持久化生效。

常见避坑点 #

• 只挂载DataNode目录：NameNode保存文件系统元数据，未挂载的话容器重启后元数据丢失，DataNode内的数据块也无法被识别。
• 强制以root用户运行容器：Hadoop容器默认适配hdfs用户权限，强制root会导致内部权限混乱，无法正常访问HDFS目录。
• 配置路径与挂载路径不匹配：必须保证hdfs-site.xml中的目录和docker-compose挂载的容器内路径完全一致。

内容的提问来源于stack exchange，提问作者Juan Pedro Martinez