K8s部署Hadoop 3.3.3 HA时NameNode报非法参数错误求助

错误原因 #

从报错日志核心信息java.lang.IllegalArgumentException: Does not contain a valid host:port authority: http:可定位，问题出在HDFS HA配置的命名格式及规则错误：

• dfs.ha.namenodes.<nameservice-id>配置中，误用了完整的StatefulSet Pod域名作为NameNode ID，而非nn0、nn1这类简短标识，导致后续地址配置项的命名逻辑完全混乱
• RPC地址配置值错误添加了hdfs://前缀，Hadoop解析时无法识别有效host:port格式
• HTTP地址配置项因错误的NameNode ID命名，触发解析异常

解决方法 #

修正hdfs-site.xml中的HA配置，严格遵循Hadoop HA标准命名规则：

修正后的hdfs-site.xml关键配置 #

<property>
    <name>dfs.nameservices</name>
    <value>apache-hadoop-namenode</value>
</property>

<!-- 使用简短标识作为NameNode ID -->
<property>
    <name>dfs.ha.namenodes.apache-hadoop-namenode</name>
    <value>nn0,nn1</value>
</property>

<!-- RPC地址配置：格式为 dfs.namenode.rpc-address.<nameservice-id>.<namenode-id>，值仅保留host:port -->
<property>
    <name>dfs.namenode.rpc-address.apache-hadoop-namenode.nn0</name>
    <value>apache-hadoop-namenode-0.apache-hadoop-namenode.backend.svc.cluster.local:8020</value>
</property>

<property>
    <name>dfs.namenode.rpc-address.apache-hadoop-namenode.nn1</name>
    <value>apache-hadoop-namenode-1.apache-hadoop-namenode.backend.svc.cluster.local:8020</value>
</property>

<!-- HTTP地址配置：格式匹配RPC的命名规则 -->
<property>
    <name>dfs.namenode.http-address.apache-hadoop-namenode.nn0</name>
    <value>apache-hadoop-namenode-0.apache-hadoop-namenode.backend.svc.cluster.local:9870</value>
</property>
<property>
    <name>dfs.namenode.http-address.apache-hadoop-namenode.nn1</name>
    <value>apache-hadoop-namenode-1.apache-hadoop-namenode.backend.svc.cluster.local:9870</value>
</property>

<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://apache-hadoop-journalnode.backend.svc.cluster.local:8485/apache-hadoop-namenode</value>
</property>

补充必要的HA故障切换配置 #

为确保集群具备自动故障切换能力，建议在hdfs-site.xml中添加以下配置：

<!-- 配置故障切换代理类 -->
<property>
    <name>dfs.client.failover.proxy.provider.apache-hadoop-namenode</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 启用自动故障切换 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

<!-- 配置隔离机制 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
</property>
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>

验证步骤 #

1. 将修正后的配置同步到所有Hadoop节点容器
2. 重启JournalNode集群
3. 初始化Active NameNode（仅首次执行）：hdfs namenode -format
4. 启动Standby NameNode并同步元数据：hdfs namenode -bootstrapStandby
5. 启动两个NameNode实例，检查日志确认无启动错误

内容的提问来源于stack exchange，提问作者Abhishek Karigar