使用S3 Magic Committer的Spark作业提交.pendingset文件失败

针对你遇到的Content-MD5 you specified did not match what we received（BadDigest）错误，以下是几个直接有效的解决方案：

1. 关闭S3A客户端的MD5校验 #

这是最直接的修复方式，Magic Committer上传的.pendingset是极小的元数据文件，容易触发MD5计算不匹配问题。在Spark配置中添加：

spark.hadoop.fs.s3a.putobject.validate.md5 false

或者在Hadoop的core-site.xml中配置：

<property>
  <name>fs.s3a.putobject.validate.md5</name>
  <value>false</value>
</property>

该配置会禁用S3A客户端对上传文件的MD5校验，避免因校验不匹配导致的报错。

2. 确保Magic Committer配置正确 #

检查是否已正确开启Magic Committer，并调整参数优化小文件上传：

spark.hadoop.fs.s3a.committer.magic.enabled true
spark.hadoop.fs.s3a.committer.name magic

如果作业生成大量小元数据文件，可指定临时路径优化上传流程：

spark.hadoop.fs.s3a.committer.magic.tmp.path s3a://your-bucket/tmp/magic/

3. 升级Hadoop和AWS SDK版本 #

旧版本的Hadoop S3A客户端或AWS SDK存在极小文件MD5计算的bug，建议升级到：

• Hadoop 3.3.x及以上版本
• AWS SDK 1.12.x及以上版本
  确保Spark、Hadoop和AWS SDK版本兼容（比如Spark 3.3.x搭配Hadoop 3.3.4是稳定组合）。

4. 排查网络中间件影响 #

如果环境存在代理、网关或负载均衡，这些组件可能修改S3请求内容导致MD5不匹配：

• 检查代理配置，确保不对S3的PUT请求做内容修改（比如自动压缩、添加额外HTTP头）
• 尝试绕过代理直接连接S3，验证是否是中间件导致的问题

完整spark-submit配置示例 #

spark-submit \
  --conf spark.hadoop.fs.s3a.putobject.validate.md5=false \
  --conf spark.hadoop.fs.s3a.committer.name=magic \
  --conf spark.hadoop.fs.s3a.committer.magic.enabled=true \
  --class com.yourcompany.YourJobClass \
  your-job.jar

错误原因说明 #

BadDigest错误本质是客户端计算的文件MD5值与S3服务器接收到的文件内容计算的MD5不一致。Magic Committer上传的.pendingset是KB级甚至更小的元数据文件，在网络有中间件、客户端版本有bug或文件内容极小时，容易触发该问题。

内容的提问来源于stack exchange，提问作者Rishabh Sharma