AWS Glue Crawler扫描RDS导出S3数据时表识别异常问题

核心问题分析 #

你的Crawler当前直接扫描整个S3桶，未排除非表结构的文件（如_SUCCESS、Parquet分区文件），也未限制表识别层级，导致Crawler误将单个文件当作独立表创建。

解决方案 #

1. 添加S3目标排除规则 #

在Terraform的s3_target中配置exclude_paths，过滤掉不需要被识别为表的文件：

resource "aws_glue_crawler" "database-crawler" {
  name = "crawler-name"

  database_name = "database"
  role          = aws_iam_role.iam_role

  s3_target {
    path       = "s3://bucket/"
    # 排除_SUCCESS文件和分区Parquet文件
    exclude_paths = [
      "**/_SUCCESS",
      "**/part-*.parquet"
    ]
  }
}

2. 缩小S3扫描路径范围 #

如果所有表文件夹都存放在s3://bucket/folder/subfolder/层级下，直接将扫描路径指向该父目录，让Crawler自动将子文件夹（如table.name）识别为表：

resource "aws_glue_crawler" "database-crawler" {
  name = "crawler-name"

  database_name = "database"
  role          = aws_iam_role.iam_role

  s3_target {
    path       = "s3://bucket/folder/subfolder/"
    exclude_paths = [
      "**/_SUCCESS"
    ]
  }
}

3. 配置爬虫扫描与Schema变更策略 #

通过recrawl_policy和schema_change_policy明确爬虫行为，避免重复生成错误表：

resource "aws_glue_crawler" "database-crawler" {
  name = "crawler-name"

  database_name = "database"
  role          = aws_iam_role.iam_role

  s3_target {
    path       = "s3://bucket/folder/subfolder/"
    exclude_paths = [
      "**/_SUCCESS"
    ]
  }

  # 仅扫描新文件夹（适合固定表结构场景）
  recrawl_policy {
    recrawl_behavior = "CRAWL_NEW_FOLDERS_ONLY"
  }

  # 更新现有表Schema，而非创建新表
  schema_change_policy {
    delete_behavior = "LOG"
    update_behavior = "UPDATE_IN_DATABASE"
  }
}

4. 确认分类器优先级 #

确保AWS Glue默认的Parquet分类器优先级最高：

• 进入Glue控制台 → 分类器页面，检查Parquet分类器优先级（默认最高）
• 若存在自定义通用分类器，调整其优先级低于Parquet分类器，避免误识别单个文件为表

验证步骤 #

1. 删除Glue Database中已生成的错误表（如part-000-1234.parquet、_sucess_840193）
2. 应用修改后的Terraform配置，重新触发Crawler扫描
3. 检查Glue Database是否正确创建table.name表，且无错误表生成

内容的提问来源于stack exchange，提问作者Alex