AWS Glue与PySpark中DynamicFrame导出至S3中途失败，抛出UnsupportedOperationException异常求助

这个错误我之前处理过好几次，核心问题出在AWS Glue的Parquet写入器对double类型字段的字典编码支持上——当字段存在大量重复值、特殊数值，或者自动推断的Schema隐含了字典编码规则时，就会触发这个不兼容的异常，而且往往会在导出部分数据后才崩溃，因为问题数据可能集中在某个分区或批次里。

下面是针对你的场景的具体解决方案，按优先级排序：

1. 快速修复：禁用Parquet字典编码 #

这是最直接的解决方法，在写入时显式关闭字典编码，避免Glue自动对double类型启用这个特性：

DataSink0 = glueContext.write_dynamic_frame.from_options(
    frame = DataSource0,
    connection_type = "s3",
    format = "glueparquet",
    connection_options = { 
        "path": "s3://example-bucket-here/data/", 
        "compression": "snappy", 
        "partitionKeys": [] 
    },
    # 添加这部分参数禁用字典编码
    format_options = {
        "useDictionary": "false"
    },
    transformation_ctx = "DataSink0"
)

如果只想针对Amount字段禁用，也可以指定字段级规则：

format_options = {
    "useDictionary": {"Amount": False}
}

2. 替换自动推断Schema：手动定义字段类型 #

自动推断的Schema可能会给Amount字段附加不必要的元数据（比如字典编码标记），手动定义Schema可以彻底避免这个问题：

from pyspark.sql.types import StructType, StructField, LongType, StringType, DoubleType
from awsglue.dynamicframe import DynamicFrame

# 严格按照你的数据结构定义Schema
custom_schema = StructType([
    StructField("Date", LongType(), nullable=True),
    StructField("ticker_name", StringType(), nullable=True),
    StructField("currency", StringType(), nullable=True),
    StructField("exchange_name", StringType(), nullable=True),
    StructField("instrument_type", StringType(), nullable=True),
    StructField("first_trade_date", LongType(), nullable=True),
    StructField("Amount", DoubleType(), nullable=True)
])

# 对数据源应用自定义Schema
DataSource0 = DataSource0.applySchema(custom_schema)

# 再执行写入操作
DataSink0 = glueContext.write_dynamic_frame.from_options(
    frame = DataSource0,
    # 其他参数不变
)

3. 排查数据中的特殊值 #

虽然你对比过未导出的数据，但可能存在隐藏的非法数值（比如NaN、Infinity），这些值会干扰Parquet的字典编码逻辑。可以先过滤掉这些值再导出：

from pyspark.sql.functions import isnan, isinf

# 转换为DataFrame进行清洗
raw_df = DataSource0.toDF()
# 过滤Amount字段的非法值
clean_df = raw_df.filter(~isnan(raw_df.Amount) & ~isinf(raw_df.Amount))
# 转换回DynamicFrame
clean_dynamic_frame = DynamicFrame.fromDF(clean_df, glueContext, "clean_data")

# 写入清洗后的数据
DataSink0 = glueContext.write_dynamic_frame.from_options(
    frame = clean_dynamic_frame,
    # 其他参数不变
)

4. 升级AWS Glue版本 #

如果你的Job使用的是Glue 1.0版本，建议升级到Glue 3.0或更高版本——新版本基于Spark 3.x，对Parquet格式的兼容性更好，很多旧版本的字典编码bug已经被修复。你可以在Glue Studio创建Job时直接选择新版本的Glue引擎。

内容的提问来源于stack exchange，提问作者ResponsiblyUnranked