EKS集群中AWS EBS存储部署HDFS NameNode格式化失败求助

问题根源 #

你遇到的核心问题在于EBS卷挂载后的目录并非完全空目录：当EBS卷使用ext4这类常见文件系统时，挂载后会自动生成lost+found系统目录。而bde2020/hadoop-namenode镜像自带的run.sh脚本，判断是否需要格式化NameNode的逻辑是检查/hadoop/dfs/name目录是否为空——一旦发现存在任何文件或目录（比如lost+found），就会跳过格式化步骤，最终导致NameNode启动时报错未格式化。

解决方案 #

我们可以通过两种方式解决这个问题，以下是具体实现：

方案1：覆盖默认启动命令，精准判断格式化条件

修改StatefulSet的容器配置，替换默认的run.sh执行逻辑，改为检查NameNode核心元数据文件（比如fsimage）是否存在，而不是简单判断目录是否为空。这样即使有lost+found目录，只要没有NameNode的元数据文件，就会自动执行格式化。

修改后的StatefulSet YAML关键片段：

containers:
- name: hdfs-name
  image: bde2020/hadoop-namenode
  env:
  - name: CLUSTER_NAME
    value: hdfs-k8s
  ports:
  - containerPort: 8020
    name: nn-rpc
  - containerPort: 50070
    name: nn-web
  volumeMounts:
  - name: hdfs-name-pv-claim
    mountPath: /hadoop/dfs/name
  # 覆盖默认启动命令，自定义判断逻辑
  command: ["/bin/bash", "-c"]
  args: |
    # 检查是否存在NameNode的fsimage元数据文件
    if [ ! -f /hadoop/dfs/name/current/fsimage_* ]; then
      echo "Formatting NameNode for first run..."
      hdfs namenode -format -force -nonInteractive
    fi
    # 执行原启动脚本
    run.sh

方案2：用InitContainer清理干扰目录

添加一个InitContainer，在启动NameNode容器前删除lost+found目录，让/hadoop/dfs/name回到“看起来为空”的状态，触发原run.sh的自动格式化逻辑。

修改后的StatefulSet YAML关键片段：

spec:
  template:
    spec:
      # 新增InitContainer清理卷内的系统目录
      initContainers:
      - name: clean-volume
        image: busybox:latest
        command: ["rm", "-rf", "/hadoop/dfs/name/lost+found"]
        volumeMounts:
        - name: hdfs-name-pv-claim
          mountPath: /hadoop/dfs/name
      containers:
      - name: hdfs-name
        image: bde2020/hadoop-namenode
        # 其余原有配置保持不变

验证步骤 #

1. 先清理现有资源（避免旧卷残留影响）：

   kubectl delete statefulset hdfs-name
   kubectl delete pvc hdfs-name-pv-claim-hdfs-name-0
   

2. 应用修改后的YAML文件：

   kubectl apply -f your-statefulset-config.yaml
   

3. 查看Pod日志确认格式化成功：

   kubectl logs hdfs-name-0
   

你应该会看到日志中出现格式化相关的输出，之后NameNode就能正常启动运行了。

内容的提问来源于stack exchange，提问作者NumeroUno