如何判断Dataproc集群的错误状态是否由网络问题导致
报错详情
Only 0 out of 2 minimum required datanodes running. 2021-07-16T02:41:57.264Z Starting scan to move intermediate done files
网络问题排查确认步骤
- 验证基础网络连通性:登录集群主节点,尝试ping两个DataNode节点的内网IP,若ICMP协议被防火墙禁用,可执行
nc -zv <DataNode内网IP> 22检测SSH端口连通性。如果无法连通,说明节点间基础网络存在故障。 - 检测HDFS核心通信端口可达性:在主节点分别执行
nc -zv <DataNode内网IP> 9866、nc -zv <DataNode内网IP> 9867命令,同时在DataNode节点执行nc -zv <NameNode内网IP> 9820,检测DataNode与NameNode之间的HDFS通信端口是否被拦截。端口无法访问的情况下,DataNode无法向NameNode注册,会直接触发该报错。 - 检查DataNode运行日志:登录DataNode节点,查看
/var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log日志文件,搜索Connection refused、Connect timed out、No route to host这类网络相关错误关键词,存在此类日志即可判定故障由网络问题引发。 - 核对域名解析与路由配置:在DataNode节点执行
nslookup <集群主节点域名>,确认集群内部域名可以正常解析;执行ip route查看路由规则,确认DataNode到NameNode所在子网的路由规则正常,不存在路由丢失问题。 - 核查防火墙规则:确认VPC网络防火墙、节点本地iptables规则已放行Dataproc集群内部通信所需的全部端口,没有针对集群节点IP的拦截规则。
内容的提问来源于stack exchange,提问作者gbaduz
相关产品推荐
相关产品推荐

