AWS Glue Crawler扫描Delta表后创建表名异常问题求助

以下是针对这个问题的常见排查方向和修复方法：

• 检查Delta表的S3路径结构
  确认你的Delta表文件是否直接存放在s3://<your-bucket>/motor/路径下，该路径下必须包含_delta_log目录和Delta格式的数据文件。如果motor目录下还有嵌套子目录或者混合了其他非Delta数据，Crawler可能无法正确识别目录名作为表名，进而生成默认的_表。

• 调整Glue Crawler的分类器优先级
  确保你已经添加了Delta Lake分类器，并且将其优先级设置为最高。如果Crawler先触发了CSV、JSON等其他分类器，会错误解析Delta表的结构，导致表名识别异常。

• 修正Crawler的路径配置
  检查Crawler的“包含路径”是否精确指向motor表的根目录，而不是其上级目录。如果指向上级目录，Crawler会扫描所有子目录，可能误将整个路径结构当作单一表，或者无法正确提取目标表名。

• 修复Delta表元数据
  如果Delta表的元数据存在损坏，Crawler无法正确读取表信息：

  • 用Delta Lake命令VACUUM <table-path> RETAIN 168 HOURS清理无效的历史元数据；
  • 执行OPTIMIZE <table-path>优化表结构，之后重新运行Crawler。

• 清理缓存后重新扫描
  手动删除Data Catalog中生成的_表，然后清空Glue Crawler的扫描历史记录，再重新启动扫描。旧的缓存元数据可能会干扰新的扫描结果。

内容的提问来源于stack exchange，提问作者Hongbo Miao