如何通过Spark/Hudi加密S3中Hudi外部表全量数据及集群内传输数据

一、集群内传输数据加密（Spark原生配置） #

Spark本身提供集群节点间数据传输的全量加密能力，无需依赖EMR专属加密功能，通过以下配置即可开启：

# 开启集群网络传输加密
spark.network.crypto.enabled=true
# 指定加密算法（默认AES-256-CBC，可按需调整）
spark.network.crypto.cipher=AES-256-CBC
# 加密密钥相关配置
spark.network.crypto.keyLength=256
spark.network.crypto.keyFactoryAlgorithm=PBKDF2WithHmacSHA1

这些配置会对Spark节点间的Shuffle数据、Driver与Executor的通信数据进行全量加密，覆盖集群内所有传输链路。

二、S3外部表静态数据全量加密（Spark+Hudi联合配置） #

针对S3中存储的Hudi/Hive外部表静态数据，可通过Spark的Hadoop客户端配置实现全量文件加密，无需使用列级加密：

1. 服务器端加密（SSE）配置 #

通过Spark配置指定S3服务器端加密规则，写入数据时自动完成全量加密：

# 开启S3服务器端加密
spark.hadoop.fs.s3a.server-side-encryption.enabled=true
# 指定加密算法（以SSE-S3为例，平台无关）
spark.hadoop.fs.s3a.server-side-encryption-algorithm=AES256
# 若使用SSE-KMS，可额外指定密钥ARN（可选）
# spark.hadoop.fs.s3a.server-side-encryption.key=arn:aws:kms:region:account-id:key/key-id

2. Hudi写入适配 #

Hudi基于Spark的DataFrame API完成写入，会自动继承Spark的Hadoop配置，因此上述S3加密配置会直接作用于Hudi生成的所有数据文件，实现全量静态数据加密，无需额外修改Hudi的列级加密逻辑。

三、客户端侧全量加密（可选） #

如果需要在数据写入S3前就在客户端完成加密，可启用Spark的客户端加密配置：

spark.hadoop.fs.s3a.encryption.enabled=true
spark.hadoop.fs.s3a.encryption.key=your-custom-encryption-key
spark.hadoop.fs.s3a.encryption.cipher=AES/CBC/PKCS5Padding

以上所有配置均为Spark/Hudi原生支持，可在spark-defaults.conf全局配置，或通过作业提交时的--conf参数指定，完全不依赖AWS EMR专属加密功能。

内容的提问来源于stack exchange，提问作者Roobal Jindal