Azure多节点Hadoop集群Datanode无法运行，文件复制失败求助

兄弟，我之前在Azure搭1主3从的Hadoop集群时，也碰到过一模一样的报错！折腾了好几天才搞定，给你分享几个针对性的排查方向：

先确认DataNode是否正常运行并注册到NameNode #

这是最核心的第一步，毕竟报错说“只能复制到0个节点”，说明NameNode眼里根本没有可用的DataNode：

• 挨个登录3个从节点，执行jps命令，看有没有DataNode进程。如果没有，直接去$HADOOP_HOME/logs目录找hadoop-*-datanode-<你的节点名>.log，日志里肯定会写启动失败的原因——比如端口被占用、存储目录权限不对、找不到NameNode地址。
• 在主节点执行hdfs dfsadmin -report，看输出里的Live DataNodes数量是不是3。如果是0，那100%是DataNode没连上NameNode，往下看通信相关的排查。

排查NameNode和DataNode的通信问题 #

Azure环境下的网络配置很容易踩坑：

• 检查网络安全组（NSG）：确保集群内所有虚拟机的Hadoop端口是开放的——默认需要开放50010（数据传输）、50020（IPC通信）、8020/9000（NameNode RPC），直接配置NSG允许集群子网内的所有流量会更省心。
• 核对配置文件：
  • 所有节点的core-site.xml里，fs.defaultFS必须指向主节点的正确主机名或内网IP（别用公网IP！）；
  • hdfs-site.xml里的dfs.namenode.rpc-address也要对应主节点的地址；
  • 每个节点的/etc/hosts文件手动添加所有节点的主机名和内网IP，Azure默认的主机名解析有时候会抽风，手动配置最稳。
• 本地防火墙：别忽略虚拟机本身的防火墙！比如Ubuntu的ufw、CentOS的firewalld，要么关闭（测试环境），要么把Hadoop相关端口加入白名单。

检查DataNode的存储配置 #

DataNode没法写数据也会被标记为不可用：

• 看hdfs-site.xml里的dfs.datanode.data.dir配置的目录（比如file:///hadoop/data），执行ls -ld <这个目录>，确保所有者是运行Hadoop的用户（比如hadoop），权限至少是755。
• 用df -h检查存储目录所在的磁盘空间，如果磁盘满了，要么清理文件，要么在Azure控制台给虚拟机扩容磁盘。

Azure特有的坑点 #

• 磁盘性能：如果用的是Azure普通存储磁盘，IOPS可能不够，导致DataNode心跳超时被NameNode踢掉。可以看DataNode日志里有没有heartbeat timeout相关的报错，换成高级存储磁盘试试。
• 加速网络：给虚拟机启用Azure加速网络，能大幅提升集群内的通信稳定性，减少心跳丢包的概率。

如果以上步骤都试过还是不行，把DataNode日志里的关键错误片段贴出来（比如连接拒绝、权限报错、IO错误），更容易精准定位问题！

内容的提问来源于stack exchange，提问作者FlyingBurger