S3A Magic Committer未按预期在Spark任务结束时提交问题排查

核心原因拆解 #

1. 华为OBS与原生S3的API兼容差异 #

Magic Committer依赖S3分段上传特性：任务执行时先上传文件分段，只有调用CompleteMultipartUpload接口后，完整文件才会在对象存储中可见。但华为OBS虽兼容S3协议，在分段上传的可见性规则上存在实现差异：

• 部分场景下，OBS会将未完成的分段上传以临时文件或预创建文件的形式暴露在对象列表中，而非像原生S3那样隐藏未完成的上传任务。
• 可手动验证：发起分段上传，仅上传部分段且不调用CompleteMultipartUpload，观察OBS是否显示该“未完成”文件（原生S3不会显示）。

2. Spark配置可能未完全生效 #

需确认Magic Committer是否真的被任务启用：

• 检查Spark Driver或Executor日志，搜索magic committer或S3ACommitterFactory关键词，确认任务实际使用的提交器类型。若日志出现FileOutputCommitter相关信息，说明Magic Committer未生效。
• 注意：配置项spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=10针对Hadoop原生提交器，与Magic Committer无关，可能引发配置冲突，建议移除后重新测试。

3. 原生Amazon S3的表现 #

在原生S3环境中，Magic Committer的行为完全符合文档描述：任务执行过程中，对象存储的文件列表中不会出现任何输出文件，仅当整个任务完成提交后，所有文件才会一次性可见，不会出现随进度逐个显示的情况。

验证建议 #

• 优先检查Spark任务日志，确认提交器类型是否为Magic Committer。
• 在原生S3环境中运行相同代码，对比文件可见时机，排除Spark配置问题。
• 查阅华为OBS官方文档，确认其对S3分段上传API的兼容细节，特别是文件可见性与CompleteMultipartUpload的关联逻辑。

内容的提问来源于stack exchange，提问作者Pavel Orekhov