AWS Glue PySpark KMS解密S3客户端加密文件遇pickle报错

报错的核心是Spark跨节点对象序列化不兼容：

• 原代码在驱动节点全局初始化了boto3 KMS客户端实例
• 该客户端内部持有SSLContext对象，Python序列化器（包括Spark使用的cloudpickle）无法序列化这类带底层网络上下文的对象
• 当Spark执行map算子需要将计算逻辑分发到各executor节点时，会尝试序列化闭包中引用的全局KMS客户端，直接触发can't pickle SSLContext objects报错，根本无法进入executor端的实际解密流程。
  另外原代码存在两处逻辑错误：一是map算子中调用的decrypt函数和实际定义的s3Decrypt函数名不匹配；二是wholeTextFiles返回的RDD元素为(文件路径, 文件内容)元组，原代码的取数逻辑和返回值结构不匹配。

核心原则是严禁将驱动节点创建的、带不可序列化上下文的KMS客户端通过闭包传递到executor，改为在每个executor的本地运行环境中按需初始化KMS客户端，具体调整方案：

• 移除全局作用域下创建的KMS客户端实例
• 用mapPartitions替代普通map算子，在分区处理逻辑中本地初始化KMS客户端，避免每条数据重复创建连接
• 修正原代码的函数名、RDD取数逻辑错漏
• 确认Glue任务绑定的IAM执行角色，具备对应S3路径的读取权限、目标KMS密钥的Decrypt权限

import sys
import base64
import boto3
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job

# 在executor端进程级维护KMS客户端单例，避免重复初始化连接
_kms_client = None
def get_kms_client():
    global _kms_client
    if _kms_client is None:
        _kms_client = boto3.client('kms')
    return _kms_client

def process_partition(iterator):
    # 在executor本地获取KMS客户端，无跨节点序列化过程
    kms = get_kms_client()
    for file_record in iterator:
        file_path, encrypted_content = file_record
        # 完成base64解码、KMS解密流程
        cipher_blob = base64.b64decode(encrypted_content.strip())
        decrypt_resp = kms.decrypt(CiphertextBlob=cipher_blob)
        plaintext = decrypt_resp['Plaintext'].decode('utf-8')
        # 返回解密后的文件路径与内容，供后续流程加工
        yield (file_path, plaintext)

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

# 读取S3加密文件，通过mapPartitions执行分区级解密逻辑
spark_rdd = sc.wholeTextFiles("s3://xxxxx/yyyy/zzzzz/*").mapPartitions(process_partition)

# 抽样验证解密结果
print(spark_rdd.take(10))

job.commit()

• 不要在驱动节点创建boto3客户端后直接在算子闭包中引用，这类对象自带的网络句柄、SSL上下文全部无法被Spark序列化
• 上述单例实现会让同一个executor进程内的所有分区复用同一个KMS客户端，减少不必要的连接创建开销，性能远高于每条数据初始化客户端的方案
• 报错排查时优先检查IAM权限：如果序列化问题解决后运行时报权限错误，需要在Glue执行角色的权限策略中补充对应KMS密钥的kms:Decrypt权限，不要把KMS客户端的配置硬编码到代码中。

内容的提问来源于stack exchange，提问作者justlikethat