Glue Crawler创建的表是否支持Partition Projection及更新影响问询

Glue Crawler创建的表是否支持配置Partition Projection功能？ #

支持。Glue Crawler自动生成的表存储在AWS Glue数据目录中，Partition Projection是Glue表原生支持的表级属性，不管是手动创建的表还是Crawler生成的表，都可以正常配置该功能。你可以直接在Glue控制台的表详情页修改表属性，也可以通过AWS CLI、SDK等方式添加projection相关的配置参数即可生效。

Crawler运行更新表时会产生什么影响？ #

分不同场景有不同的影响：

• 默认配置下，Crawler运行时只会更新它探测到的表结构变更、新增/删除匹配规则的分区等信息，不会覆盖你手动添加的Partition Projection相关自定义表属性，原有配置可以正常保留。
• 如果你配置Crawler时开启了强制重建表的相关规则（比如源数据格式发生重大变更时允许Crawler重建表），那么表重建后之前手动添加的Partition Projection配置会被清除，需要重新配置。
• 开启Partition Projection后，Athena查询时会完全按照你配置的规则生成分区信息，不再读取Glue数据目录中存储的分区元数据，这种场景下Crawler的分区探测功能实际上是冗余的，运行Crawler新增的分区元数据不会对Athena的查询逻辑产生影响。

内容的提问来源于stack exchange，提问作者Hugo