通过Glue向S3保存文件时触发Py4JException错误的问题求助

错误根源 #

这个py4j.Py4JException: Method __getstate__([]) does not exist报错和boto3上传逻辑本身没有关联，是PySpark环境下的对象序列化问题：你将不可序列化的对象（比如boto3客户端、绑定了Py4J网关的Java侧对象）传入了需要Spark序列化分发到worker节点执行的上下文（比如RDD的map/flatMap算子、DataFrame UDF等），Spark在序列化这些对象时找不到对应方法就会抛出该错误。

解决方案 #

• 不要在Driver端初始化boto3客户端再传入Spark算子内部，要把boto3客户端的初始化逻辑挪到算子内部，每个worker节点执行时单独实例化客户端，避免跨节点序列化：

# 错误写法：在Driver端初始化s3客户端再传入map函数
s3 = boto3.client('s3')
rdd.map(lambda x: s3.put_object(...))

# 正确写法：在算子内部初始化客户端
def upload_to_s3(row):
    import boto3
    BUCKET = 'my_bucket'
    s3 = boto3.client('s3')
    keyid = 'xxxxx'
    s3.put_object(Bucket=BUCKET,
              Key='encrypt-key',
              Body=b'foobar',
              ServerSideEncryption='aws:kms',
              SSEKMSKeyId=keyid)
    return row
rdd.map(upload_to_s3)

• 如果是写入DataFrame格式的数据到S3，直接使用Spark原生的S3写入接口即可，不需要手动实现boto3上传逻辑，提前配置好S3A的加密参数就能适配KMS加密：

# 配置S3A使用KMS加密
spark.conf.set("fs.s3a.server-side-encryption-algorithm", "SSE-KMS")
spark.conf.set("fs.s3a.server-side-encryption.key", "arn:aws:kms:区域:账号ID:key/xxxxx")

# 直接写入S3
df.write.parquet("s3a://my_bucket/存储路径")

• 检查当前运行上下文，确认没有把SparkSession、DataFrame这类绑定Py4J网关的对象和普通Python逻辑做绑定后传入序列化场景。

内容的提问来源于stack exchange，提问作者marcin2x4