You need to enable JavaScript to run this app. 如何判断Dataproc集群的错误状态是否由网络问题导致
优惠活动
大模型
产品
解决方案
定价
更多

如何判断Dataproc集群的错误状态是否由网络问题导致

报错详情
Only 0 out of 2 minimum required datanodes running. 

2021-07-16T02:41:57.264Z Starting scan to move intermediate done files 
网络问题排查确认步骤
  • 验证基础网络连通性:登录集群主节点,尝试ping两个DataNode节点的内网IP,若ICMP协议被防火墙禁用,可执行nc -zv <DataNode内网IP> 22检测SSH端口连通性。如果无法连通,说明节点间基础网络存在故障。
  • 检测HDFS核心通信端口可达性:在主节点分别执行nc -zv <DataNode内网IP> 9866、nc -zv <DataNode内网IP> 9867命令,同时在DataNode节点执行nc -zv <NameNode内网IP> 9820,检测DataNode与NameNode之间的HDFS通信端口是否被拦截。端口无法访问的情况下,DataNode无法向NameNode注册,会直接触发该报错。
  • 检查DataNode运行日志:登录DataNode节点,查看/var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log日志文件,搜索Connection refused、Connect timed out、No route to host这类网络相关错误关键词,存在此类日志即可判定故障由网络问题引发。
  • 核对域名解析与路由配置:在DataNode节点执行nslookup <集群主节点域名>,确认集群内部域名可以正常解析;执行ip route查看路由规则,确认DataNode到NameNode所在子网的路由规则正常,不存在路由丢失问题。
  • 核查防火墙规则:确认VPC网络防火墙、节点本地iptables规则已放行Dataproc集群内部通信所需的全部端口,没有针对集群节点IP的拦截规则。

内容的提问来源于stack exchange,提问作者gbaduz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.09 19:36:04