使用Scala写入文件到HDFS时遇副本复制失败问题求助
先把你遇到的错误信息贴出来方便定位：
File /user/testuser/test.txt could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
我之前排查过一模一样的问题，给你几个具体的排查步骤，按顺序试应该能找到原因：
先确认DataNode和NameNode的实际通信状态
Ambari显示服务运行只是进程层面的，不一定代表DataNode和NameNode心跳正常。登录NameNode节点执行hdfs dfsadmin -report，重点看Live DataNodes的数量和状态。如果这里显示Live节点为0，直接去DataNode的日志（默认路径/var/log/hadoop-hdfs/hadoop-hdfs-datanode-*.log）里找心跳失败、连接拒绝之类的报错，大概率是通信问题。检查DataNode的磁盘状态
这是最常见的触发原因：DataNode的磁盘满了，或者HDFS数据目录的权限不对。登录DataNode节点：- 用
df -h查看HDFS数据目录所在磁盘的剩余空间，确保不是100%占用； - 用
ls -ld /path/to/hdfs/data/dir检查目录权限，运行HDFS的用户（比如hdfs）必须有读写权限。
- 用
排查NameNode的排除节点列表
错误里明确说有1个节点被排除了，直接执行hdfs dfsadmin -getExcludedNodes，看看输出里是不是包含你的DataNode主机名。如果是的话：- 修改HDFS配置里的
dfs.hosts.exclude文件，把这个节点移除； - 执行
hdfs dfsadmin -refreshNodes让配置生效； - 再用
hdfs dfsadmin -report确认节点已经回到可用状态。
- 修改HDFS配置里的
手动验证HDFS写入权限
先排除代码问题，用testuser身份在客户端执行hdfs dfs -touchz /user/testuser/test_tmp.txt，如果这个命令也失败，那问题出在HDFS集群本身；如果成功，那就要检查你的Scala代码：- 是不是加载了正确的HDFS配置（
core-site.xml和hdfs-site.xml要在classpath里）； - 是不是用了正确的用户身份运行代码（比如有没有通过
UserGroupInformation设置用户）。
- 是不是加载了正确的HDFS配置（
检查网络和端口连通性
从客户端节点测试到DataNode的网络：- 用
ping datanode-hostname确认网络可达； - 用
nc -zv datanode-hostname 50010测试DataNode的读写端口（默认50010）是否开放，防火墙或者安全组挡住这个端口也会导致无法复制数据。
- 用
内容的提问来源于stack exchange，提问作者Ruby
