PySpark写入S3兼容存储时SSE-C加密配置失效问题

问题描述 #

已在PySpark中配置fs.s3a.encryption.algorithm为SSE-C，并指定fs.s3a.encryption.key，但将DataFrame写入非AWS的S3兼容存储时，数据未被加密，可直接下载查看。同一端点下使用AWS CLI上传文件时，SSE-C加密可正常生效。

环境信息 #

• Apache Spark v3.2.2
• Hadoop-aws v3.3.1
• OpenJDK 11.0.16.1
• Python 3.10.4
• Ubuntu 22.04 LTS

复现步骤 #

1. 生成密钥：encKey=$(openssl rand -base64 32)
2. 启动PySpark Shell并配置依赖与参数
3. 在PySpark中设置S3连接及加密参数，创建测试DataFrame并写入S3兼容存储

排查与解决办法 #

1. 确认加密参数的正确性 #

部分Hadoop-aws版本中，SSE-C加密的参数名称存在两种写法，建议同时配置或核对版本匹配的参数：

# 优先使用server-side-encryption前缀的参数（部分版本兼容性更好）
spark.conf.set("fs.s3a.server-side-encryption-algorithm", "SSE-C")
spark.conf.set("fs.s3a.server-side-encryption.key", encKey)
# 同时保留原参数作为兼容
spark.conf.set("fs.s3a.encryption.algorithm", "SSE-C")
spark.conf.set("fs.s3a.encryption.key", encKey)

2. 开启S3兼容存储的路径风格访问 #

大部分非AWS的S3兼容存储需要启用路径风格访问，否则可能导致加密参数不生效：

spark.conf.set("fs.s3a.path.style.access", "true")
spark.conf.set("fs.s3a.endpoint", "http://your-s3-compatible-endpoint:port")

3. 验证密钥格式与传递正确性 #

确保生成的Base64密钥未被转义或截断，可在配置后直接打印验证：

print(spark.conf.get("fs.s3a.server-side-encryption.key"))

若输出与生成的encKey不一致，尝试直接传入原始Base64字符串，避免变量传递时的编码问题。

4. 升级Hadoop-aws版本 #

Hadoop-aws 3.3.1对部分S3兼容存储的SSE-C支持存在已知兼容性问题，建议升级到3.3.4及以上版本：

pyspark --packages org.apache.hadoop:hadoop-aws:3.3.4

5. 启用调试日志排查细节 #

启动PySpark时开启S3A客户端的DEBUG日志，查看加密逻辑是否被触发：

pyspark --conf "log4j.logger.org.apache.hadoop.fs.s3a=DEBUG"

检查日志中是否存在Using server-side encryption algorithm: SSE-C的条目，或是否有加密相关的错误提示（如密钥格式错误、存储服务不支持等）。

内容的提问来源于stack exchange，提问作者JoyfulPanda