使用AWS Glue Crawler生成Schema后Athena报HIVE_INVALID_METADATA错误如何解决？

方案1：手动修改Glue Data Catalog中的表Schema #

• 进入AWS Glue控制台，定位到目标表ktxxxxxxgxxt.coxxxxxv_bnbn
• 编辑表的Schema，找到segmentattributes字段的结构体定义
• 将转义后的connect\:Subtype修改为`connect:Subtype`（用反引号包裹原字段名），或者直接替换为无特殊字符的名称（如connect_Subtype）
• 保存修改后，重新在Athena中执行查询即可
• 注意：如果后续仍需用Glue Crawler同步数据，需关闭Crawler配置里的更新表定义选项，避免修改后的Schema被覆盖

方案2：在Kinesis Firehose阶段预处理字段名（彻底解决） #

通过Firehose的Lambda数据转换功能，在数据写入S3前将含冒号的字段名替换为合法格式：

1. 创建Lambda函数，遍历输入的JSON数据，把所有键名中的冒号:替换为下划线_（或其他合法字符）
   示例Python代码：

   import json
   
   def lambda_handler(event, context):
       output = []
       for record in event['records']:
           payload = json.loads(record['data'].decode('base64'))
           # 递归替换键名中的冒号
           def replace_colon(obj):
               if isinstance(obj, dict):
                   return {k.replace(':', '_'): replace_colon(v) for k, v in obj.items()}
               elif isinstance(obj, list):
                   return [replace_colon(item) for item in obj]
               else:
                   return obj
           modified_payload = replace_colon(payload)
           output_record = {
               'recordId': record['recordId'],
               'result': 'Ok',
               'data': json.dumps(modified_payload).encode('base64')
           }
           output.append(output_record)
       return {'records': output}
   

2. 在Kinesis Firehose配置中启用数据转换，关联上述Lambda函数
3. 重新生成数据后，Glue Crawler将生成不含特殊字符的Schema，Athena可正常读取

方案3：手动编写Athena DDL创建表 #

跳过Glue Crawler，直接在Athena中定义正确的表结构，用反引号包裹含冒号的字段名：
示例DDL：

CREATE EXTERNAL TABLE `ktxxxxxxgxxt.coxxxxxv_bnbn` (
  `segmentattributes` struct<`connect:Subtype`:struct<ValueString:string>>
  -- 其他字段按需补充
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
LOCATION 's3://your-bucket-path/'
TBLPROPERTIES ('has_encrypted_data'='false');

执行该DDL后，即可直接在Athena中查询数据。

内容的提问来源于stack exchange，提问作者Harsha Chaitanya