PySpark本地写入远程HDFS报错：文件无法满足最小副本数

这个问题我之前帮不少开发者排查过，核心原因很明确——你的远程HDFS集群找不到可用的DataNode来存储数据副本，毕竟本地写本地没问题，说明PySpark的业务逻辑是通的，问题出在HDFS集群本身或者客户端配置上。下面是一步步排查和解决的具体方法：

1. 先检查远程HDFS集群的DataNode状态 #

这是最常见的诱因，登录到HDFS的NameNode节点，执行命令查看DataNode的运行情况：

hdfs dfsadmin -report

如果输出里Live datanodes的数量是0，那就是DataNode没启动或者没和NameNode建立连接：

• 去DataNode节点的日志目录（通常是$HADOOP_HOME/logs/hadoop-*-datanode-*.log）查看具体报错，常见问题有端口冲突、磁盘权限不足，或者DataNode与NameNode的集群ID不匹配（比如DataNode数据目录下的current/VERSION文件里的clusterID和NameNode的不一致）。
• 如果是集群ID不匹配，可以删除DataNode数据目录下的current/VERSION文件，重启DataNode服务让它重新和NameNode同步。

2. 确认PySpark客户端的HDFS配置正确 #

你的PySpark环境需要正确识别远程HDFS的地址和参数：

• 把远程集群的core-site.xml和hdfs-site.xml复制到本地PySpark的$SPARK_HOME/conf目录下，或者在提交作业时通过--files参数加载这两个配置文件。
• 确保core-site.xml里的fs.defaultFS指向远程NameNode的地址（比如hdfs://remote-nn-host:9000），而不是本地文件系统。
• 检查hdfs-site.xml里的dfs.replication参数，如果你的测试集群只有1个DataNode，一定要把这个值改成1，否则会因为达不到最小副本数而写入失败。

3. 验证客户端到远程HDFS的网络连通性 #

网络不通也会导致找不到DataNode：

• 测试PySpark所在机器能不能ping通NameNode和所有DataNode的主机名/IP。
• 检查防火墙是否开放了HDFS的关键端口：NameNode默认9000，DataNode默认50010（数据传输）、50075（WebUI），确保这些端口能正常访问。
• 先用hdfs dfs -ls hdfs://remote-nn-host:9000/命令测试客户端能不能正常访问远程HDFS，如果这个命令都失败，先解决基础的连通性问题。

4. 检查HDFS的存储空间和路径权限 #

• 用hdfs dfsadmin -report查看每个DataNode的剩余磁盘空间，如果磁盘满了，DataNode会拒绝写入请求。
• 确认你要写入的/TIMS/路径有足够的权限，测试阶段可以临时执行hdfs dfs -chmod 777 /TIMS/（生产环境要按需设置权限），再尝试写入。

5. 提交作业时显式指定HDFS配置 #

如果是用spark-submit提交作业，可以通过参数直接指定配置：

spark-submit --master local[*] --files /path/to/core-site.xml,/path/to/hdfs-site.xml your_script.py

或者在PySpark代码里显式配置：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("WriteToRemoteHDFS") \
    .config("spark.hadoop.fs.defaultFS", "hdfs://remote-nn-host:9000") \
    .config("spark.hadoop.dfs.replication", "1") \
    .getOrCreate()

# 你的数据处理逻辑
df.write.json("/TIMS/")

建议先从DataNode状态检查开始，大部分情况下都是DataNode未正常运行或者配置不匹配导致的问题。

内容的提问来源于stack exchange，提问作者Praveen Mandadi