使用Athena Engine Version 3查询Delta Tables失败问题排查

一、路径中__PLACEHOLDER__占位符的问题 #

这个占位符是因为你同时用了df.write.save()和DeltaTable.createIfNotExists()两种方式注册表导致的。后者在Glue Catalog注册时，没有正确关联已写入的真实S3路径，才生成了占位符路径。这会直接导致Athena找不到Delta表的实际数据文件，进而触发Schema验证失败。

二、DELTA_LAKE_INVALID_SCHEMA错误的核心原因及修复方案 #

1. Schema注册与实际Delta表元数据不匹配 #

你的代码里，写完Delta表后又用addColumns(df.schema)注册表，这容易造成字段重复添加，或者写入和注册环节的schema出现不一致（比如数据类型、字段顺序差异）。Athena查询Delta表时会严格校验Glue中的schema和Delta表_delta_log里的元数据，只要不匹配就会报错。

• 修复：删掉DeltaTable.createIfNotExists()中的addColumns(df.schema)，直接依赖已写入的Delta表元数据注册：

  DeltaTable.createIfNotExists(spark).location(target_loc).property(
      "has_encrypted_data", "true"
  ).property('table_type', 'DELTA').tableName(target_table).execute()
  

  或者直接用Spark SQL创建外部表，确保路径和schema完全对应：

  CREATE EXTERNAL TABLE IF NOT EXISTS database.tablename
  USING delta
  LOCATION 's3://your-real-s3-path'
  TBLPROPERTIES ('has_encrypted_data'='true')
  

2. 冗余参数干扰表类型识别 #

你在df.write里加了table_type='DELTA'参数，这完全多余——Delta格式本身不需要额外指定该属性，反而可能干扰Glue Catalog对表类型的识别。

• 修复：去掉这个冗余参数，保留必要配置即可：

  df.write.format("delta").mode("overwrite").option(
      "overwriteSchema", "true"
  ).option('has_encrypted_data', True).save(target_loc)
  

3. Delta Lake版本兼容性问题 #

虽然用了Athena Engine 3，但要确认你写入Delta表时用的Spark Delta版本是否在Athena支持范围内（目前Engine 3支持Delta Lake 2.0及以上版本）。如果版本过高，Athena可能解析不了新的元数据格式。

• 排查：检查Spark依赖中delta-core的版本，确保和Athena兼容。

三、快速验证步骤 #

• 手动修改Glue Catalog中表的路径，把__PLACEHOLDER__替换成真实S3路径，再去Athena查询，看是否还报错。
• 查看S3路径下的_delta_log文件夹，确认其中的schema文件（比如00000000000000000000.json）里的schema和Glue表的schema是否完全一致。
• 在Athena中执行DESCRIBE EXTENDED database.tablename，检查Location是否为真实路径，Table Type是否为DELTA。

内容的提问来源于stack exchange，提问作者Matthew Fennell