如何回滚单次AWS Glue爬虫运行产生的误创建表变更？

一、定位本次爬虫生成的表 #

要精准删除误创建的表，首先得把它们从数据库的所有表里筛选出来：

• 通过CloudWatch日志定位：找到对应Glue爬虫的CloudWatch日志组，搜索关键词Created table，日志里会记录本次爬虫运行创建的所有表名，直接提取这些表名即可。
• 通过表的创建时间筛选：用AWS CLI或boto3查询数据库内所有表的创建时间，匹配本次爬虫运行的时间范围：
  • CLI命令示例：

    aws glue get-tables --database-name your-database-name --query 'TableList[?CreateTime>=`2024-05-20T00:00:00Z` && CreateTime<=`2024-05-20T01:00:00Z`].Name' > bad-tables.txt
    

    替换时间范围为你爬虫实际运行的时间段，结果会导出到bad-tables.txt文件。

二、批量删除误创建的表 #

拿到表名列表后，用脚本或CLI批量删除：

• Python脚本示例（boto3）：

  import boto3
  
  glue_client = boto3.client('glue')
  db_name = 'your-database-name'
  
  # 从文件读取误创建的表名
  with open('bad-tables.txt', 'r') as f:
      bad_tables = [line.strip() for line in f if line.strip()]
  
  for table in bad_tables:
      try:
          glue_client.delete_table(DatabaseName=db_name, Name=table)
          print(f"Deleted table: {table}")
      except Exception as e:
          print(f"Failed to delete {table}: {str(e)}")
  

• AWS CLI批量删除：

  while read table; do
      aws glue delete-table --database-name your-database-name --name "$table"
  done < bad-tables.txt
  

三、避免再次出现此类问题 #

• 检查爬虫的扫描范围：确认Include paths只包含目标数据路径，用Exclude paths排除无关的嵌套文件夹或临时文件路径。
• 调整分类器配置：使用自定义分类器（比如JSON、CSV分类器）明确数据格式，避免爬虫误识别不同结构为新表。
• 关闭不必要的递归扫描：如果你的数据存储没有多层嵌套结构，关闭爬虫的递归扫描选项。

内容的提问来源于stack exchange，提问作者abent