使用Glue Catalog作为Delta Lake元数据存储的技术疑问

核心结论 #

不需要每次Delta表更新后都运行Glue Crawler，通过将Delta表直接注册到Glue Catalog，利用Delta Lake自带的事务日志（Delta Log），可以实现元数据的自动同步，完全替代Crawler的同步作用。

概念澄清 #

Glue Crawler的核心作用是扫描文件路径发现新表/更新表结构，但Delta Lake本身维护了一份权威的事务日志，记录了表的schema、分区信息、数据文件的增删改等所有变化。只要将Delta表与Glue Catalog正确关联，Spark会自动通过Delta Log更新Catalog中的元数据，无需依赖Crawler的扫描。

最优实现方案 #

1. 新建Delta表时直接注册到Glue Catalog #

创建表时通过Spark SQL指定USING delta和表的S3存储路径，即可将表注册到Glue Catalog，后续所有表的变更都会自动同步到Catalog：

CREATE TABLE mydatabase.table_name
USING delta
LOCATION 's3a://bucketprefix-prod/bucketname/table_name/'
-- 可选：手动指定schema，若不指定会自动从路径中的Delta数据推断
-- (col1 INT, col2 STRING, partition_col DATE)
PARTITIONED BY (partition_col)

后续执行INSERT、MERGE、UPDATE等Delta操作时，Glue Catalog的元数据会自动更新，无需额外操作。

2. 已有Delta表注册到Glue Catalog #

如果已经存在未关联Glue Catalog的Delta表，无需运行Crawler，直接通过以下SQL注册即可：

CREATE TABLE mydatabase.table_name
USING delta
LOCATION 's3a://bucketprefix-prod/bucketname/table_name/'

注册完成后，后续的Delta表变更会自动同步到Glue Catalog。若存在历史分区需要同步，可执行一次：

MSCK REPAIR TABLE mydatabase.table_name;

这一步仅需执行一次，后续新增分区会自动同步。

3. 读取表的正确方式 #

注册完成后，无论在Glue Jobs还是EMR集群中，都可以直接通过Glue Catalog引用表名，完全无需暴露S3路径：

方式1：Spark SQL直接访问

USE mydatabase;
SELECT * FROM table_name LIMIT 10;

方式2：Glue Context读取

datasource0 = glueContext.create_data_frame.from_catalog(
 database = "mydatabase",
 table_name = "table_name")
datasource0.show(10);

避免的误区 #

之前需要每次更新后运行Crawler是因为错误地让Crawler扫描路径生成表，这种方式下Crawler仅在运行时扫描路径，无法感知Delta Log的实时变化。而正确关联Delta表与Glue Catalog后，Catalog的元数据以Delta Log为权威来源，自动同步所有变更，彻底摆脱对Crawler的依赖。

内容的提问来源于stack exchange，提问作者Subodh Shetty