如何配置AWS Glue表及Crawler处理Parquet同列BigInt/Double类型

针对Parquet文件同列混合存储bigint、double类型，Glue表类型校验报错的问题，按优先级给可落地的方案：

• 方案1：配置表级宽松类型校验（零代码改动，5分钟生效）
  先把Glue表的value列类型固定设置为double，再进入表编辑页的表属性区块，添加以下3个键值对，关闭严格类型校验，开启自动数值向上转型：

  • parquet.strict.typing = false
  • typeConversionEnabled = true
  • glue.schema.evolution.ignore.type.mismatch = true
    配置完成后，需要清理历史分区残留的自定义schema元数据：批量更新所有分区的列定义和表级完全一致，删除分区上单独存储的value列bigint类型配置——分区元数据优先级高于表级配置，不清理的话旧分区还是会触发报错。清理完成后不管是用Athena、Glue ETL还是Redshift Spectrum查询，引擎会自动把文件中存储的bigint类型值向上转换为double处理，不会抛类型不匹配错误。
    这个配置对后续持续写入的混合类型文件永久生效，不需要每次写入做额外处理。

• 方案2：摄入环节做统一类型转换（一劳永逸，无兼容风险）
  如果开了表级配置后仍有个别边缘场景报错，可以在Parquet文件入湖的Glue ETL链路里加简单类型转换逻辑，把所有写入文件的value列统一转成double存储，从根源消除类型混合问题，示例代码如下：

  # 读取原始摄入Parquet文件时关闭schema强制匹配
  source_dyf = glueContext.create_dynamic_frame.from_options(
      connection_type="s3",
      connection_options={"paths": ["s3://<你的源数据桶>/<摄入前缀>/"]},
      format="parquet",
      format_options={"strictParsing": False}
  )
  # 统一将value列转为double类型，兼容所有数值类型输入
  normalized_df = source_dyf.toDF().withColumn("value", col("value").cast("double"))
  # 写入表存储路径并同步更新Glue Catalog
  glueContext.getSink(
      path="s3://<你的表存储桶>/<表前缀>/",
      connection_type="s3",
      enableUpdateCatalog=True,
      updateBehavior="UPDATE_IN_DATABASE",
      partitionKeys=["<你的分区字段>"]
  ).writeFrame(DynamicFrame.fromDF(normalized_df, glueContext, "normalized_dyf"))
  

  这个方案的性能损耗可以忽略，写入后的Parquet文件schema完全统一，后续不管是查询还是对接其他计算引擎都不会再出现类型报错。

注意：你之前尝试的分区schema mismatch相关方案，核心是解决不同分区间schema不一致的临时问题，不适用于单文件内同列持续混合存储多种数值类型的场景，不需要在分区级做差异化schema配置，反而要保证所有分区schema和表级完全对齐。

内容的提问来源于stack exchange，提问作者CustardBun