如何通过AWS Glue Crawler让Athena仅同步S3最新文件数据？

我通过AWS Glue Crawler将S3数据源的数据导入Athena，初始S3存储桶内有一个quizstatus1.json文件，内容如下：

{ "id" : 50, "name":"John", "quiz_status": "In Progress" }
{ "id" : 51, "name":"Jane", "quiz_status": "In Progress" }
{ "id" : 53, "name":"Jill", "quiz_status": "In Progress" }

运行Crawler后数据成功导入Athena，结果符合预期。

但当S3中新增quizstatus2.json文件（内容如下）后：

{ "id" : 50, "name":"John", "quiz_status": "Completed" }
{ "id" : 51, "name":"Jane", "quiz_status": "In Progress" }
{ "id" : 53, "name":"Jill", "quiz_status": "Completed" }

再次运行Glue Crawler，Athena会同时显示两个文件的所有数据。我需要Athena仅保留最新的quizstatus2.json数据，实现与S3最新文件内容同步，请问该如何操作？

方法1：覆盖旧文件而非新增 #

直接在S3中用quizstatus2.json覆盖quizstatus1.json（保持文件名一致），之后重新运行Glue Crawler。这种方式下，Athena会读取最新的文件内容，旧数据自然被替换。

方法2：配置S3生命周期规则自动清理旧文件 #

在S3桶中设置生命周期规则，实现新文件上传后自动删除旧版本文件：

• 进入S3桶的「管理」标签页，选择「生命周期规则」
• 创建新规则，设置触发条件为匹配文件名前缀（如quizstatus），或指定「当有新对象版本上传时」，执行删除旧对象的操作
• 保存规则后，新文件上传时旧文件会被自动清理，再运行Glue Crawler即可获取最新数据

方法3：在Athena查询中过滤最新文件 #

若需要保留历史文件但查询时仅获取最新数据，可通过Athena的伪列筛选：

按文件路径筛选 #

SELECT *
FROM your_table_name
WHERE "$path" = 's3://your-bucket/path/quizstatus2.json'

按文件最后修改时间筛选 #

SELECT *
FROM your_table_name
WHERE "$last_modified" = (SELECT MAX("$last_modified") FROM your_table_name)

方法4：用Glue ETL作业替代Crawler #

编写Glue ETL作业，指定仅读取最新文件并覆盖原有表数据：

• 在Glue控制台创建新ETL作业
• 在作业脚本中，通过S3 API获取指定前缀下的最新文件路径
• 读取该文件并写入Athena对应的表（设置覆盖模式）
• 可将作业配置为定时触发，或绑定S3事件实现新文件上传时自动执行

内容的提问来源于stack exchange，提问作者Charlie