AWS Glue Studio 保存表异常：Athena查询schema变更且数据全部挤入首列

问题根因 #

• 分隔符不匹配：Glue输出CSV文件时使用的分隔符，与Data Catalog自动创建的表的SerDe读取分隔符不一致，导致整行数据被识别为单个字段，全部落入第一列
• 自动schema推断规则冲突：你勾选的自动创建表选项默认会基于输出文件采样推断字段类型，不会直接复用你在Glue Studio转换流程中配置的schema，默认采样规则会优先将所有字段识别为string类型

修复步骤 #

1 调整Glue Studio任务配置 #

• 打开对应Glue任务的可视化编辑页，选中S3目标节点
• 确认「数据格式」选择为你需要的格式，以CSV为例，展开「格式选项」，明确指定分隔符为,，不要留空由系统自动推断
• 在「数据目录更新选项」区域，取消勾选自动推断schema的相关子选项，强制复用转换流程中定义的字段类型

2 手动修正已有Data Catalog表配置（可直接修复现有数据的查询问题，无需重跑任务） #

• 进入AWS Glue控制台的「数据目录」-「数据库」，找到自动生成的目标表，点击「编辑表」
• 修正字段类型：将col1、col2修改为bigint（Athena中Long类型对应bigint类型），col3、col4保持string类型，Athena没有单独的null类型，col5可保留为string类型或直接删除
• 找到「SerDe参数」配置区，添加/修改两个参数：
  • 键field.delim，值为,
  • 键serialization.format，值为,
• 保存表配置后，在Athena中执行MSCK REPAIR TABLE 你的表名同步分区，再次查询即可得到预期结果

3 验证配置效果 #

重跑一次Glue任务，确认新写入的数据自动适配表结构，不会再出现字段类型被覆盖、数据全部落入第一列的问题

内容的提问来源于stack exchange，提问作者drod93