如何配置Athena跳过不符合外部表Schema的异常文档？

遇到这种因字段类型定义与实际数据不匹配导致的Athena查询失败，你可以通过调整JsonSerDe的配置参数来实现容错处理，具体方案如下：

1. 添加类型不匹配忽略属性（最直接方案） #

你当前的表已经配置了ignore.malformed.json='true'，但这个参数仅作用于完全格式错误的JSON文档（比如缺少括号、逗号错误等）。对于字段类型不匹配的情况，需要添加ignore.type.mismatch='true'这个关键参数，它会让SerDe在遇到类型转换失败时，将对应字段设为NULL而非终止整个查询。

修改后的建表语句如下：

CREATE EXTERNAL TABLE my.data (
  `id` string,
  `timestamp` string,
  `profile` struct< `name`: string, `score`: int>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1',
  'ignore.malformed.json' = 'true',
  'ignore.type.mismatch' = 'true'
)
LOCATION 's3://my-bucket-of-data'
TBLPROPERTIES ('has_encrypted_data'='false');

如果表已经创建完成，不需要重建，直接用ALTER语句更新属性即可：

ALTER TABLE my.data SET SERDEPROPERTIES (
  'ignore.type.mismatch' = 'true'
);

2. 适配数据类型（更优的长期方案） #

从报错信息看，你的score字段实际存在带小数的字符串值（比如"4099999.9999999995"），如果这些数值是有效业务数据而非错误值，建议直接修改表结构中score的类型为double，这样既能兼容整数也能兼容小数格式的字符串，从根源避免类型不匹配问题：

CREATE EXTERNAL TABLE my.data (
  `id` string,
  `timestamp` string,
  `profile` struct< `name`: string, `score`: double>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1',
  'ignore.malformed.json' = 'true'
)
LOCATION 's3://my-bucket-of-data'
TBLPROPERTIES ('has_encrypted_data'='false');

注意事项 #

• ignore.type.mismatch参数仅会将类型不匹配的字段置为NULL，不会跳过整个文档，所以你仍能查询到其他字段的有效数据。
• 如果需要完全跳过整个不符合Schema的文档，可以考虑使用Athena的跳过坏记录功能，不过对于JsonSerDe来说，ignore.malformed.json已经负责跳过完全无效的JSON，而类型不匹配属于字段级问题，通常用上述方案处理即可。

内容的提问来源于stack exchange，提问作者sdgfsdh