如何将Athena中Glue识别的多余分区键转为普通列？

为什么region会被识别为分区键？ #

Glue爬虫是基于S3路径的Hive风格分区规则（即key=value的目录命名格式）自动识别分区的。你的Parquet文件存储路径是s3://project/dev/table/region=eu/，其中region=eu完全符合Hive分区的目录结构，所以爬虫不管你ETL作业里指定的分区键是什么，都会自动把region判定为分区列。

如何把region转为非分区列？ #

1. 从根源修正S3路径（推荐） #

只要路径里存在key=value格式的目录，爬虫就会触发分区识别，所以最彻底的方法是修改存储路径：

• 将原路径s3://project/dev/table/region=eu/改为不带分区格式的结构，比如s3://project/dev/table/eu/；或者直接把region作为字段写入Parquet文件，路径中去掉这个层级。
• 如果已有大量文件在旧路径，用AWS CLI批量迁移：

  aws s3 mv s3://project/dev/table/region=eu/ s3://project/dev/table/eu/ --recursive
  

• 重新运行Glue爬虫，此时爬虫不会再把region识别为分区键。

2. 手动修改Glue表结构（应急方案） #

如果暂时无法修改S3路径，可以手动调整表结构：

• 登录AWS Glue控制台，找到目标表，进入结构页面点击编辑结构。
• 在「分区键」列表中删除region，然后在「列」列表中添加region字段，设置对应的数据类型（比如string）。
• 补充region字段的值：因为原分区值是eu，可以通过Athena的CTAS语句生成新表：

  CREATE TABLE target_table_new
  WITH (
    format = 'Parquet',
    external_location = 's3://project/dev/table/region=eu/'
  ) AS
  SELECT *, 'eu' AS region FROM target_table;
  

• 删除原表，将新表重命名为原表名即可。

3. 调整爬虫配置（避免后续误识别） #

如果需要保留现有路径但不想让爬虫识别region为分区，可以：

• 在爬虫的「排除路径」中添加region=*，让爬虫忽略这个层级的目录结构。
• 或者关闭爬虫的「自动识别分区」功能（注意：这会影响其他正常分区的识别，需谨慎使用）。

内容的提问来源于stack exchange，提问作者abent