AWS Glue爬虫同步S3数据至Athena后，新记录未更新

以下是导致Glue爬虫未识别新增S3文件、Athena查询无更新的常见原因及排查方向：

• 动态分区路径不匹配
  检查新增文件的S3路径是否符合Glue爬虫预期的分区格式。比如你配置的分区规则是Entity=xxx/EntityName=yyy/，若C#程序修改后，JSON中的Entity或EntityName字段值出现大小写变化、特殊字符未正确转义，或者Kinesis Firehose的动态分区模板配置被意外修改，都会导致新增文件的路径不在爬虫的识别范围内。

• 爬虫爬取范围限制
  查看Glue爬虫的包含/排除路径配置：

  • 若包含路径仅指定了首次爬取的旧分区（如s3://your-bucket/Entity=old-value/），新增文件所在的新分区会被遗漏；
  • 若排除路径误添加了新增文件的前缀、后缀或分区值，也会导致爬虫跳过这些文件。

• Glue表分区元数据未更新
  手动登录Glue控制台查看目标表的分区列表，确认新增分区是否被添加。部分情况下，爬虫可能因分区检测逻辑限制（如仅检测特定时间范围内的分区），未将新分区同步到表元数据中。此外，需确认爬虫配置中是否开启了「更新分区」的选项，若仅设置为更新表结构，不会自动添加新分区。

• Athena查询缓存干扰
  Athena默认会缓存查询结果，重复执行相同的SELECT * FROM data可能命中旧缓存。可通过添加注释强制跳过缓存：

  SELECT /* NO_CACHE */ * FROM data
  

• S3文件状态或权限问题

  • Kinesis Firehose会生成临时文件（后缀通常为.tmp），这类未完成的文件不会被Glue爬虫处理，需确认新增文件已完成写入（文件名无临时后缀）；
  • 检查Glue爬虫的IAM角色是否拥有新增文件所在路径的读取权限，若分区路径变更导致权限范围未覆盖，爬虫无法访问这些文件。

• 爬虫运行日志报错
  前往CloudWatch查看Glue爬虫的运行日志，排查是否存在JSON格式错误（如新增日志的JSON结构与首次爬取的不一致）、权限报错、路径解析失败等问题。若新增日志的字段类型或结构发生变更，可能导致爬虫无法解析并忽略该文件。

内容的提问来源于stack exchange，提问作者VAAA