如何在AWS Glue任务运行时指定爬取表Schema？Parquet是否影响Schema？

一、Parquet是否会改变Schema？ #

Parquet本身是强类型列式存储格式，不会主动修改或变更数据的原始Schema，它会精确存储数据类型的元信息。你遇到的Schema偏差（bigint→string、double→float），根源不在Parquet本身，而是两个环节的问题：

1. Glue Crawler类型推断逻辑差异：Crawler对CSV（无类型文本）和Parquet的推断策略不同。CSV依赖采样值猜测类型，而Parquet虽自带元数据，但如果Crawler的采样比例过低、遇到分区内的异常值，或默认类型映射规则与CSV不一致，就会出现推断错误。
2. PySpark隐式类型转换：如果ETL逻辑未显式指定Schema，PySpark在处理某些数据场景（如null值、跨分区数据类型不一致）时，可能会发生隐式类型转换，导致写入Parquet的元数据与原流水线不符。

二、如何强制保持原Schema不变？ #

1. 在ETL阶段显式固化Schema #

在PySpark写入Parquet前，强制将DataFrame的类型对齐原流水线的Schema，从源头避免类型偏差：

from pyspark.sql.types import StructType, StructField, LongType, DoubleType

# 定义与原流水线完全一致的目标Schema
target_schema = StructType([
    StructField("user_id", LongType(), nullable=True),
    StructField("transaction_amount", DoubleType(), nullable=True)
])

# 强制转换DataFrame字段类型
df = df.withColumn("user_id", df["user_id"].cast(LongType())) \
       .withColumn("transaction_amount", df["transaction_amount"].cast(DoubleType()))

# 写入Parquet（禁用mergeSchema避免自动合并分区Schema）
df.write.mode("overwrite").option("mergeSchema", "false").parquet("s3://your-test-bucket/output/")

2. 用自定义Parquet分类器覆盖Crawler推断 #

创建自定义Parquet分类器，强制指定Schema，跳过Crawler的自动推断：

• 进入AWS Glue控制台 → 分类器 → 添加分类器 → 选择「Parquet分类器」
• 启用「使用自定义Schema」，手动输入原流水线的Schema（如user_id bigint, transaction_amount double）
• 将该分类器关联到测试流水线的Crawler，并设置为最高优先级，Crawler将直接使用你指定的Schema生成表

3. 固定Glue Data Catalog表Schema #

如果Crawler已生成错误表，可直接修改Catalog中的表结构，并配置Crawler不更新Schema：

• 进入Glue Data Catalog → 目标表 → 「编辑Schema」，修正错误类型
• 编辑Crawler配置，在「Schema更新选项」中选择「不更新表定义」，避免后续爬取覆盖手动修正的Schema

4. 验证Parquet元数据 #

先确认写入的Parquet文件本身的类型是否正确，排除ETL阶段的问题：

# 读取Parquet文件并打印Schema
spark.read.parquet("s3://your-test-bucket/output/").printSchema()

如果打印的Schema与原流水线一致，说明问题出在Crawler的推断逻辑，只需调整Crawler配置即可。

内容的提问来源于stack exchange，提问作者Niraj Niyanta