Glue Data Catalog爬虫更新Schema时列顺序与Parquet文件不一致

PySpark ETL作业通过以下代码将分区Parquet文件写入S3：
df.write.partitionBy("partitioncol").mode("append").parquet(s3_path)
每日生成新分区。当源数据新增一列后，新分区的Parquet文件列顺序正确，但Glue爬虫更新Glue Data Catalog表时，新列被追加到Schema末尾，无法和新分区的列顺序保持一致。现有爬虫Schema变更策略配置如下：

schema_change_policy=CfnCrawler.SchemaChangePolicyProperty(
      delete_behavior="LOG",
       update_behavior="UPDATE_IN_DATABASE"
   ),

尝试启用「使用表元数据更新所有新分区和现有分区」设置后问题仍未解决。

Glue爬虫默认采用合并所有分区Schema的策略：保留原有表的列顺序，仅将新增列追加到末尾，不会优先采用新分区的列顺序。即使新分区的Parquet文件列顺序正确，爬虫也不会替换原有表的列排列。

1. 配置爬虫优先采用最新分区Schema #

通过CDK为爬虫添加SchemaDetectionPolicy配置，指定以最新发现的分区Schema作为表Schema的基准，包括列顺序：

CfnCrawler(
    self, "YourCrawler",
    name="your-crawler-name",
    role=your_crawler_role.role_arn,
    database_name=your_database.name,
    targets=CfnCrawler.TargetsProperty(
        s3_targets=[CfnCrawler.S3TargetProperty(path=s3_path)]
    ),
    # 新增Schema检测策略，优先最新Schema
    configuration={
        "Version": 1.0,
        "SchemaDetectionPolicy": {
            "SchemaPriority": "LatestSchema"
        }
    },
    schema_change_policy=CfnCrawler.SchemaChangePolicyProperty(
        delete_behavior="LOG",
        update_behavior="UPDATE_IN_DATABASE"
    ),
)

该配置会让爬虫以最新分区的Schema为准，覆盖原有表的列顺序，确保表Schema与新分区Parquet文件一致。

2. 强制PySpark写入统一Schema（预防方案） #

在PySpark写入前，定义并应用统一的Schema，确保所有分区的Parquet文件列顺序完全一致，从根源避免Schema不一致问题：

from pyspark.sql.types import StructType, StructField, StringType

# 定义统一Schema，包含新增列并指定位置
unified_schema = StructType([
    StructField("requestId", StringType(), nullable=True),
    StructField("testType", StringType(), nullable=True),
    StructField("NewTest", StringType(), nullable=True),  # 新增列放在指定位置
    StructField("CurrentlyProcessedFileName", StringType(), nullable=True)
])

# 将DataFrame转换为统一Schema
df = df.select(*unified_schema.fieldNames())

# 写入分区Parquet
df.write.partitionBy("partitioncol").mode("append").parquet(s3_path)

3. 手动更新表Schema（临时应急） #

若需快速调整列顺序，可通过AWS CLI或Glue控制台手动修改表的Schema：

aws glue update-table \
    --database-name <你的数据库名> \
    --table-input '{
        "Name": "<你的表名>",
        "StorageDescriptor": {
            "Columns": [
                {"Name": "requestid", "Type": "string"},
                {"Name": "testType", "Type": "string"},
                {"Name": "NewTest", "Type": "string"},
                {"Name": "currentlyprocessedfilename", "Type": "string"}
            ]
        }
    }'

注意：此为临时方案，后续爬虫运行可能会覆盖手动调整的Schema，建议优先采用前两种方法。

内容的提问来源于stack exchange，提问作者Fredrik