新Ambari集群Spark Thrift服务器报Failed to Send RPC to Datanode问题咨询

Hey there, let's tackle this Failed to Send RPC to Datanode error you're seeing on your fresh Ambari cluster's Spark Thrift Server—since you haven't run any Spark jobs yet, the common causes from that blog post don't apply here. Here's what's likely going on and how to fix it:

• Datanode未完成注册或未正常运行：全新集群中，Datanode可能还没和NameNode完成握手，或者Ambari部署过程中出现配置错误，导致Thrift Server无法连接到Datanode。
• 网络连通性问题：集群节点间的RPC端口（Datanode默认RPC端口为50020）可能被防火墙拦截，或者主机名解析失败（比如/etc/hosts配置错误，Ambari未正确设置主机映射）。
• HDFS权限配置异常：即使没有运行作业，Spark Thrift Server以spark用户运行，该用户可能没有HDFS根目录或临时目录的访问权限，导致初始化阶段触发RPC调用失败。
• Spark未同步HDFS配置：Ambari可能没有将HDFS的配置文件（如hdfs-site.xml）同步到Spark的配置目录，导致Thrift Server无法获取正确的Datanode地址信息。

1. 检查Datanode状态 #

• 登录Ambari UI，进入HDFS服务页面，确认所有Datanode均处于Started状态。如果有未启动的节点，手动重启Datanode服务，并查看Datanode日志（/var/log/hadoop/hdfs/hadoop-hdfs-datanode-*.log），确认是否存在注册失败的错误（比如NameNode拒绝连接）。
• 在任意集群节点执行以下命令，确认Datanode健康状态：

  hdfs dfsadmin -report
  

  确保输出中所有Datanode的状态均为"State: Normal"。

2. 修复网络与主机名解析 #

• 在Spark Thrift Server所在节点，测试与Datanode RPC端口的连通性：

  telnet <datanode-hostname> 50020
  

  如果连接失败，生产环境建议开放对应端口，测试阶段可临时关闭防火墙排除问题：

  systemctl stop firewalld
  

• 检查所有节点的/etc/hosts文件，确保集群内所有主机名与IP的映射正确——Ambari通常会自动配置，但手动核对可避免隐性故障。

3. 修正HDFS权限 #

• 切换到hdfs用户，修复HDFS根目录权限：

  su - hdfs
  hdfs dfs -chmod 755 /
  

• 创建并配置Spark临时目录的权限（Thrift Server初始化需要该目录）：

  hdfs dfs -mkdir -p /tmp/spark
  hdfs dfs -chown spark:spark /tmp/spark
  hdfs dfs -chmod 775 /tmp/spark
  

• 在Ambari中确认Spark服务的运行用户已设置为spark。

4. 同步HDFS配置到Spark #

• 在Ambari UI中进入Spark服务，点击Actions > Refresh Configs，强制将HDFS配置同步到Spark的配置目录。
• 手动检查Spark配置文件夹（如/usr/hdp/current/spark2-client/conf）中是否存在hdfs-site.xml，且文件包含dfs.datanode.address等有效配置项。

5. 重启Spark Thrift Server #

• 完成上述步骤后，通过Ambari重启Spark Thrift Server服务，然后查看其日志（/var/log/spark2/spark-thrift-sparkserver-*.log），确认RPC报错是否消失。

内容的提问来源于stack exchange，提问作者shalom