使用Athena通过Glue表查询JSON时遇HIVE_METASTORE_ERROR报错

问题根源分析 #

1. 数据类型语法不符合规范：Glue表中数组类型写成了ARRAY <STRING>，但Athena/Hive的类型语法要求使用小写格式，且类型与括号间不能有空格，正确写法应为array<string>。这是触发HIVE_METASTORE_ERROR的直接原因。
2. 字段名大小写不匹配：JSON数据里的字段是驼峰命名（比如eligibleTerritoryCodes），但Glue表定义的是全小写字段（eligibleterritorycodes），默认情况下Athena会严格匹配字段大小写，后续即使修复类型问题，也会出现字段值为null的情况。

修复步骤 #

1. 修正Glue表的字段类型 #

将表中数组类型的ARRAY <STRING>替换为array<string>，修正后的完整表结构如下：

[
  {
    "Name": "id",
    "Type": "string",
    "Comment": ""
  },
  {
    "Name": "eligibleterritorycodes",
    "Type": "array<string>",
    "Comment": ""
  },
  {
    "Name": "excludedterritorycodes",
    "Type": "array<string>",
    "Comment": ""
  },
  {
    "Name": "isdeleted",
    "Type": "boolean",
    "Comment": ""
  },
  {
    "Name": "requestsuccessful",
    "Type": "boolean",
    "Comment": ""
  }
]

2. 配置字段大小写不敏感 #

在Glue表的SerDe属性中添加case.insensitive=true，让Athena忽略JSON字段与表字段的大小写差异：

• 控制台操作：进入Glue控制台找到目标表，点击「编辑表」→「SerDe属性」，新增参数case.insensitive并设置值为true。
• CLI操作：执行以下命令（替换占位符为实际数据库和表名）：

aws glue update-table --database-name your-database-name --table-input '{"Name": "your-table-name", "Parameters": {"case.insensitive": "true"}}'

3. 验证结果 #

重新运行Athena查询，此时应该能正常读取JSON数据，不会再触发原错误。

补充说明 #

ignore.malformed.json参数仅用于处理格式损坏的JSON数据，你的问题根源是表结构语法错误和字段名匹配问题，因此该参数无法解决当前报错。

内容的提问来源于stack exchange，提问作者sjain24