如何查询Glue表中已归档至Glacier的存储分区

该需求完全可以实现，以下是可直接落地的实现方案及注意事项：

前提说明 #

如果你的数据是通过S3生命周期规则自动归档到Glacier/深度归档存储的，Glue Data Catalog默认不会自动同步S3对象的存储类别到分区元数据中，因此需要主动查询分区对应S3路径下的对象存储状态，或提前预埋元数据标记。

方案1：直接拉取S3状态查询（适合分区数较少的表） #

• 第一步：调用glue:get_partitionsAPI拉取目标表的全量分区列表，提取每个分区对应的S3存储路径
• 第二步：对每个分区路径调用s3:list_objects_v2API，配置max-keys=1、fetch-owner=false减少请求开销，只要路径下存在至少1个对象满足：存储类别为GLACIER/DEEP_ARCHIVE、且无未完成的恢复任务（RestoreStatus不存在或RestoreStatus.IsRestoreInProgress为false），即可判定该分区已完成冷归档
• 第三步：汇总所有符合条件的分区输出即可

方案2：预打元数据标记查询（适合分区数多、查询频率高的场景） #

• 每次完成分区数据归档操作后，主动调用glue:update_partitionAPI，给对应分区的Parameters字段新增自定义标记，例如添加storage_class=GLACIER的键值对
• 后续查询时直接调用glue:get_partitionsAPI，过滤Parameters中存在对应标记的分区即可，无需额外请求S3，查询效率提升显著

补充优化思路 #

如果你使用的S3桶开启了S3清单功能，也可以直接离线分析S3清单文件批量匹配分区路径，比逐分区调用S3 API的效率高很多，适合分区规模超十万级的大表使用。

内容的提问来源于stack exchange，提问作者Finkelson