如何将Spark DataFrame写入开启Object Lock的S3桶并添加Content-MD5头部

开启S3 Object Lock功能的存储桶要求所有Put Object请求必须携带Content-MD5请求头，而Spark默认使用的S3A文件系统客户端默认不会自动生成并携带该头，因此触发报错。

方案1：启用S3A客户端自动生成Content-MD5配置（推荐，无需修改写入逻辑） #

该配置仅在Hadoop 3.3.1及以上版本支持，是改动最小的方案，原有df.write的写入逻辑不需要做任何调整，只需要添加Spark配置即可：

• 如果你在代码中初始化SparkSession时设置配置，示例如下：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .appName("WriteToObjectLockS3") \
    .config("spark.hadoop.fs.s3a.put.object.content.md5.enable", "true") \
    .getOrCreate()

# 原有写入逻辑直接使用即可
df.write.parquet(output_path)

• 如果你通过spark-submit提交作业，可以在提交命令中直接添加参数：

spark-submit \
  --conf spark.hadoop.fs.s3a.put.object.content.md5.enable=true \
  your_script.py

方案2：低版本Hadoop兼容方案 #

如果你使用的Hadoop版本低于3.3.1无法使用上述配置，可以选择两种适配路径：

• 升级Spark作业依赖的Hadoop客户端版本到3.3.1及以上，再使用方案1的配置即可
• 自定义实现Spark S3输出Committer，在文件提交的逻辑中手动添加MD5计算和请求头注入逻辑，该方案改动量较大，非必要不推荐

注意：启用MD5自动计算会产生少量CPU开销，用于对每个上传的S3对象计算哈希值，该开销属于使用S3 Object Lock功能的必要成本，对常规作业性能影响极小。

内容的提问来源于stack exchange，提问作者Vikrant Goel