Spark SQL分区表写入报File Not Found异常求助

我之前在Spark集群上处理分区表写入时，也碰到过几乎一模一样的情况——特定字段作为分区键就报文件找不到，换其他字段就正常，甚至关闭远程Worker节点后居然能成功写入。结合当时的排查过程和Spark的分区机制，给你几个针对性的解决方向：

1. 检查分区字段的特殊字符或非法格式 #

Spark写入分区表时，会把分区字段的值直接作为目录路径的一部分（比如partition_col=xxx）。如果你的问题字段里包含了文件系统不允许的字符（像/、:、*、?这些），有些Worker节点的文件系统会拒绝创建对应路径，导致写入时找不到文件。

解决办法：

• 先排查该字段的所有值，过滤或替换特殊字符：

  // Scala示例：用下划线替换路径非法字符
  import org.apache.spark.sql.functions.regexp_replace
  val cleanedDF = df.withColumn("problem_partition_col", regexp_replace(col("problem_partition_col"), "[/:*?\"<>|]", "_"))
  

• 如果是日期类型字段，确保格式统一（比如避免2024/05/20这种带斜杠的格式，改用2024-05-20）。

2. 排查集群节点的文件系统权限与元数据一致性 #

这种“特定Worker节点出问题”的现象，大概率和节点权限或者分布式文件系统（比如HDFS）的元数据不一致有关：

• 远程Worker节点可能没有目标分区目录的读写权限，导致它无法创建或访问分区文件；
• HDFS的元数据节点（NameNode）和数据节点（DataNode）同步延迟，某个节点创建的文件在其他节点上还没被识别到。

解决办法：

• 登录报错的Worker节点，手动尝试在目标路径下创建文件，验证权限是否正常；
• 执行HDFS的检查命令修复元数据：

  hdfs fsck /path/to/your/partitioned_table -delete
  

• 确保所有Worker节点的hadoop/spark用户对输出目录有相同的权限配置。

3. 调整分区写入的并发度，避免冲突 #

如果问题字段对应的分区数据量特别大，多个Worker节点同时写入同一个分区目录时，可能会出现临时文件被误删或者元数据同步不及时的情况——Spark写入分区时会先写临时文件，最后再重命名为正式文件，并发过高时容易出问题。而关闭远程Worker节点后，并发任务减少，冲突就消失了。

解决办法：

• 降低写入的并行度，比如用coalesce减少DataFrame的分区数：

  cleanedDF.coalesce(8).write.partitionBy("problem_partition_col").mode("append").saveAsTable("your_table")
  

• 调整Spark的 shuffle 配置：

  # 在提交任务时添加参数
  --conf spark.sql.shuffle.partitions=32
  

4. 检查动态分区的配置正确性 #

如果你用的是动态分区写入，可能是分区模式配置错误导致特定字段写入失败：

• 如果hive.exec.dynamic.partition.mode设置为strict，但你的分区字段不是静态分区，就会触发路径找不到的错误；
• spark.sql.sources.partitionOverwriteMode配置不当，导致覆盖分区时逻辑出错。

解决办法：

• 在Spark任务中添加以下配置：

  --conf hive.exec.dynamic.partition=true \
  --conf hive.exec.dynamic.partition.mode=nonstrict \
  --conf spark.sql.sources.partitionOverwriteMode=dynamic
  

• 确保写入时没有混合静态和动态分区的错误逻辑（比如静态分区字段值不固定）。

额外排查步骤 #

• 查看Spark任务的Executor日志，定位到具体是哪个Worker节点报的错，针对性检查该节点的文件系统和网络；
• 用df.explain()查看执行计划，对比问题字段和正常字段的分区写入逻辑差异；
• 先在本地模式下测试写入该字段的分区，验证数据本身是否有问题。

内容的提问来源于stack exchange，提问作者JuniorStack2