如何使用Spark SQL查询AWS S3中存储为CSV的Athena表最后更新时间戳

可以实现，目前有两种主流方案，分别适用于不同的场景，具体实现思路如下：

方案1：基于Glue Catalog元数据查询（性能最优） #

适用前提 #

你的Spark集群已经配置对接AWS Glue Catalog作为元数据存储（AWS EMR集群默认开启该配置，自建Spark需要提前配置Hive metastore指向Glue）

实现步骤 #

• Athena的表元数据默认托管在Glue Catalog中，Glue会自动维护表级/分区级的最后操作时间戳，无需扫描S3文件即可直接查询
• 查询表级最后更新时间，执行如下Spark SQL语句：

SHOW TBLPROPERTIES <你的库名>.<你的Athena表名> ('transient_lastDdlTime');

返回结果为Unix时间戳，是表最后一次DDL操作（建表、更新分区、修改表属性等）的时间，只要你每次数据更新后同步更新了表元数据，该值即可等价于表的最后更新时间。

• 如果是分区表，也可以查询单个分区的最后更新时间：

DESCRIBE FORMATTED <你的库名>.<你的Athena表名> PARTITION (<分区键>='<分区值>');

返回结果中的Last Access Time字段即为对应分区的最后更新时间。

优缺点 #

• 优点：查询速度极快，无额外资源消耗
• 缺点：依赖Glue元数据的同步更新，如果直接往S3路径上传文件未同步更新元数据，查询结果会不准

方案2：基于S3文件修改时间查询（结果最准确） #

适用前提 #

Spark版本为3.0及以上，且集群有对应S3路径的读权限

实现步骤 #

该方案直接扫描表对应S3路径下所有CSV文件的最后修改时间，取最大值作为表的最后更新时间，不依赖Glue元数据的同步状态，执行如下Spark SQL语句即可：

SELECT max(from_unixtime(unix_timestamp(_metadata.file_modification_time))) AS last_update_timestamp
FROM <你的库名>.<你的Athena表名>;

说明 #

_metadata是Spark 3.0新增的内置元数据列，其中file_modification_time字段存储了对应数据文件的最后修改时间，直接取最大值即为整个表的最后更新时间。如果你的Spark版本低于3.0，可以先通过input_file_name()函数获取所有文件的S3路径，再通过自定义UDF调用S3 SDK获取每个文件的修改时间后取最大值。

优缺点 #

• 优点：结果100%准确，不依赖元数据同步状态
• 缺点：需要扫描所有文件的元数据，如果表的文件量级很大，查询性能会低于方案1

内容的提问来源于stack exchange，提问作者chandu