PySpark 3.1.2使用分区提交器写入Minio(S3)仅覆写指定分区失败问题

问题根因 #

• 配置冲突：同时开启了Magic提交器和分区提交器，Magic提交器优先级更高，实际未启用分区提交器，无法实现分区级覆写
• 适配缺失：Hadoop 3.1.1版本的S3A分区提交器默认未开启Spark分区覆写模式适配，需要额外配置激活对应能力
• 参数缺失：未显式配置Spark SQL层面的分区覆写模式参数，仅配置Hadoop提交器参数不生效

修复步骤 #

1. 移除冲突的Magic提交器配置，补充分区提交器的分区覆写支持参数
2. 显式配置Spark SQL的静态分区覆写模式
3. 写入的DataFrame中仅保留需要覆写的batch_id对应的数据（静态分区覆写模式下仅会覆写DataFrame中包含的分区值对应的目录）

修正后的完整配置代码 #

# Hadoop S3A 配置
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem"
)
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.path.style.access", "true"
)
# 关闭冲突的Magic提交器
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.committer.magic.enabled", "false"
)
# 启用分区提交器
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.committer.name", "partitioned"
)
# 开启分区提交器的分区覆写支持
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.committer.partition.overwrite.enabled", "true"
)
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.committer.staging.conflict-mode", "replace"
)
spark_session.sparkContext._jsc.hadoopConfiguration().set(
    "fs.s3a.committer.staging.abort.pending.uploads", "true"
)

# Spark 层面显式配置静态分区覆写模式
spark_session.conf.set("spark.sql.sources.partitionOverwriteMode", "static")

写入逻辑保持不变 #

# 仅当data_frame中仅包含需要覆写的batch_id对应数据时，会仅覆写对应分区
data_frame.write.mode("overwrite").partitionBy("batch_id").orc(output_path)

内容的提问来源于stack exchange，提问作者Mateusz