如何配置AWS Glue爬虫仅获取S3中的最新.csv文件

AWS Glue爬虫默认会全量扫描目标路径下的所有文件，但可以通过以下几种方式实现仅抓取最新生成的CSV文件：

1. 基于S3分区路径的定向扫描 #

先调整你的ETL管道，将输出的CSV文件按时间维度分区存储，比如采用类似s3://your-bucket/data/year=2024/month=05/day=20/hour=14/interval=00/的路径格式（每15分钟对应一个interval分区，比如00、15、30、45）。

配置爬虫时，在包含路径中指定最新的分区路径。如果需要自动适配最新分区，可以结合Lambda函数动态更新爬虫的包含路径——每次有新文件上传时，Lambda解析出当前的时间分区，更新爬虫的S3目标路径后再启动爬虫。

2. 用Lambda触发爬虫并指定单个文件 #

放弃爬虫的定期调度，改用S3事件通知触发Lambda，由Lambda控制爬虫仅扫描刚上传的最新文件：

• 给目标S3桶配置PutObject事件，当新CSV文件上传时触发指定的Lambda函数。
• Lambda函数中提取新文件的S3路径，更新Glue爬虫的包含路径为该文件的完整路径，然后启动爬虫。
• 示例Python代码：

  import boto3
  
  glue = boto3.client('glue')
  
  def lambda_handler(event, context):
      # 解析S3事件中的文件路径
      record = event['Records'][0]['s3']
      file_path = f"s3://{record['bucket']['name']}/{record['object']['key']}"
      
      # 更新爬虫的目标路径为单个文件
      glue.update_crawler(
          Name='YourCrawlerName',
          Targets={
              'S3Targets': [{'Path': file_path, 'Exclusions': []}]
          }
      )
      
      # 启动爬虫
      glue.start_crawler(Name='YourCrawlerName')
      return {'status': 'success', 'message': f"Crawler started for file: {file_path}"}
  

• 注意：爬虫的表行为需设置为「更新现有表」，避免每次扫描都创建新表。

3. 用Glue作业替代爬虫（更灵活的方案） #

如果爬虫的限制无法满足需求，可以直接用Glue ETL作业处理最新文件：

• 同样通过S3事件触发Lambda，Lambda将新文件路径作为参数传递给Glue作业。
• Glue作业中读取该文件，将数据追加或更新到对应的Glue表中（可结合分区写入优化性能）。

4. 启用爬虫的增量扫描（有限适用） #

Glue爬虫支持增量扫描模式，但仅在已完成全量扫描的前提下生效：

• 在爬虫配置中开启「增量扫描」，选择「仅扫描新的和修改的文件」。
• 该模式依赖文件的最后修改时间判断新增文件，但爬虫仍会扫描目标路径下的所有文件元数据来识别新增项，对于文件量极大的场景可能效率较低，适合文件总数不多的情况。

内容的提问来源于stack exchange，提问作者Dolliy