如何让AWS Glue爬虫每日刷新现有表而非创建新表？

问题根源 #

Glue爬虫通过数据源路径的稳定性和结构一致性识别现有表。你的脚本每日删除整个s3://destination_bucket_name/ecomm_prod路径后重建，会让爬虫判定原表的数据源已消失，新重建的路径被视为全新数据源，因此自动创建带随机后缀的新表（如ltv_results_88434343）。

具体解决方案 #

1. 调整文件替换逻辑，保留路径结构 #

不要删除整个ecomm_prod父路径，仅清理目标分区内的旧文件：

• 修改Python脚本，将删除范围从s3://destination_bucket_name/ecomm_prod缩小到s3://destination_bucket_name/ecomm_prod/act/ltv_results/app_id=APP-0103/
• 上传当日的results.parquet到该分区路径下，保留ltv_results文件夹和分区目录的完整性。这样爬虫会识别为原表的分区数据更新，而非新数据源。

2. 配置Glue爬虫的表行为 #

编辑爬虫的核心配置，强制关联现有表：

• 在Glue控制台进入爬虫编辑页面，找到表行为设置：
  • 选择更新现有表作为默认行为，替代默认的“创建表或更新表”
  • 开启合并兼容的架构（如果每日文件的Schema有小幅度变动）
  • 关闭创建新表时添加后缀选项（这是生成带后缀新表的直接触发项）

3. 绑定爬虫到指定数据库和表前缀 #

限制爬虫的表创建范围，确保仅匹配目标表：

• 在爬虫的输出设置中，指定固定的目标数据库（即ltv_results表所在的数据库）
• 开启限制表创建到指定前缀，添加前缀ltv_results，让爬虫仅在该前缀下匹配现有表，不会生成新表。

4. （可选）用Glue API手动触发表刷新 #

如果爬虫的自动识别仍有问题，可通过Python脚本调用Glue API直接刷新表：

import boto3

# 初始化Glue客户端
glue_client = boto3.client('glue', region_name='your-region')

# 方式1：启动指定爬虫（确保爬虫已配置正确）
glue_client.start_crawler(Name='your-ltv-results-crawler')

# 方式2：直接更新表元数据（可选）
glue_client.update_table(
    DatabaseName='your-target-db',
    TableInput={
        'Name': 'ltv_results',
        'Parameters': {'last_refresh_time': '2024-xx-xx'}
    }
)

这种方式更可控，避免爬虫自动识别的不确定性。

内容的提问来源于stack exchange，提问作者azaveri7