AWS Glue转DataFrame遇TimestampNTZType错误及Athena分区Schema不匹配求助

核心问题分析 #

1. HIVE_PARTITION_SCHEMA_MISMATCH：表定义中payment_date为int类型，但S3分区路径中该列被解析为date类型，导致Athena读取时类型冲突。
2. TimestampNTZType错误：Glue DynamicFrame转DataFrame时，Spark 3.x引入的不带时区时间戳类型（TimestampNTZ）与现有处理逻辑不兼容，引发转换失败。

方案1：Glue作业中强制统一payment_date为string类型 #

1.1 读取阶段直接指定schema（推荐） #

读取数据时自定义schema，强制payment_date为string类型，从根源避免类型冲突：

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType
from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext.getOrCreate()
glueContext = GlueContext(sc)

# 按实际表结构定义schema，将payment_date设为StringType
custom_schema = StructType([
    StructField("id", IntegerType(), nullable=True),
    StructField("amount", DoubleType(), nullable=True),
    StructField("payment_date", StringType(), nullable=True),
    # 补充其他列的定义
])

# 读取数据时绑定自定义schema
dynamic_frame = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={"paths": ["s3://your-bucket/exported-data/"]},
    format="parquet",  # 根据实际导出格式调整（如csv、json）
    transformation_ctx="dynamic_frame",
    schema=custom_schema
)

# 后续直接将处理后的DynamicFrame写入S3
glueContext.write_dynamic_frame.from_options(
    frame=dynamic_frame,
    connection_type="s3",
    connection_options={"path": "s3://your-bucket/processed-data/"},
    format="parquet",
    transformation_ctx="write_frame"
)

1.2 转换分区列类型 #

如果分区列是S3路径自动解析的（如payment_date=20240520），读取后手动转换分区列类型：

# 读取带分区的数据
dynamic_frame = glueContext.create_dynamic_frame.from_options(
    connection_type="s3",
    connection_options={
        "paths": ["s3://your-bucket/exported-data/"],
        "recurse": True,
        "partitionKeys": ["payment_date"]
    },
    format="parquet",
    transformation_ctx="dynamic_frame"
)

# 使用ApplyMapping统一payment_date类型为string
mapped_frame = ApplyMapping.apply(
    frame=dynamic_frame,
    mappings=[
        ("id", "int", "id", "int"),
        ("amount", "double", "amount", "double"),
        ("payment_date", "date", "payment_date", "string"),
        # 其他列映射规则
    ],
    transformation_ctx="mapped_frame"
)

方案2：解决TimestampNTZType转换错误 #

2.1 禁用Spark TimestampNTZ支持 #

在Glue作业配置或代码中添加Spark参数，关闭TimestampNTZ相关转换：

方法A：作业配置中添加参数

在Glue作业的Job parameters中新增：

--conf spark.sql.parquet.int96TimestampConversion=false
--conf spark.sql.session.timeZone=UTC
--conf spark.sql.legacy.parquet.datetimeRebaseModeInWrite=CORRECTED

方法B：代码中设置Spark配置

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("spark.sql.parquet.int96TimestampConversion", "false") \
    .config("spark.sql.session.timeZone", "UTC") \
    .config("spark.sql.legacy.parquet.datetimeRebaseModeInWrite", "CORRECTED") \
    .getOrCreate()

2.2 显式转换TimestampNTZ列 #

如果数据中存在TimestampNTZ类型列，手动转换为string或timestamp：

df = dynamic_frame.toDF()

# 遍历列，将TimestampNTZ类型转为string
for col_name, col_type in df.dtypes:
    if col_type == "timestamp_ntz":
        df = df.withColumn(col_name, df[col_name].cast(StringType()))

# 转回DynamicFrame继续后续处理
processed_dynamic_frame = glueContext.create_dynamic_frame.from_df(df, glueContext, "processed_dynamic_frame")

方案3：直接修改Athena表schema（快速解决） #

如果不需要重新处理数据，可直接修改Athena表的列类型并修复分区：

1. 修改表列类型为string：

ALTER TABLE your_target_table MODIFY COLUMN payment_date string;

2. 修复分区，让Athena重新识别分区列类型：

MSCK REPAIR TABLE your_target_table;

注意：此方法需确保所有分区的payment_date值可正常转为string，且可能影响现有查询逻辑，需谨慎操作。

内容的提问来源于stack exchange，提问作者TamaTama