如何配置AWS Crawler将分区字段解析为日期类型？

针对你的S3分区结构（s3://my-bucket/my-table/dt=2023-04-19/），要让Crawler把dt识别为DATE类型，有几种实用方法：

方法一：自定义分区分类器（推荐，避免后续Crawler覆盖） #

1. 登录AWS Glue控制台，进入「分类器」页面，点击「添加分类器」。
2. 选择「自定义分区分类器」，设置：
   • 分类器名称：比如dt-date-partition-classifier
   • 分区格式：填入dt={date}
   • 格式类型：选择DATE，日期格式匹配yyyy-MM-dd
3. 找到你的目标Crawler，编辑其配置，将刚创建的自定义分类器添加到分类器列表顶端（确保优先级高于默认分类器）。
4. 重新运行Crawler，此时dt字段会被识别为DATE类型。

方法二：直接修改Athena表结构（适合已存在的表） #

如果已经通过Crawler生成了表，可直接在Athena中修改字段类型：

1. 打开Athena控制台，执行SQL修改表结构：

ALTER TABLE my_table MODIFY COLUMN dt DATE;

2. 执行命令更新分区元数据，让Athena同步新类型：

MSCK REPAIR TABLE my_table;

注意：如果之后再次运行原Crawler，可能会将dt改回字符串类型，建议配合方法一的分类器配置使用。

方法三：Crawler配置中指定分区类型 #

创建或编辑Crawler时，在「配置选项」的「分区参数」里添加配置：

• 键：dt
• 值：date
  完成后重新运行Crawler，即可让dt被识别为DATE类型。

内容的提问来源于stack exchange，提问作者tonicebrian