如何在不同Flink程序之间共享已注册的Dynamic Table

默认Flink的表元数据是作业级别的临时元数据，仅在创建表的作业对应的TableEnvironment生命周期内有效，不同作业的元数据空间完全隔离，因此其他作业无法直接访问第一个作业中创建的临时表。

方案1：使用持久化Catalog（推荐） #

这是跨作业共享元数据的标准方案，Flink支持多种持久化Catalog实现，将表元数据永久存储在外部存储中，所有接入同一个Catalog的作业都可以直接读取表定义：

• 常用的持久化Catalog包括：Hive Catalog、JDBC Catalog（支持PostgreSQL/MySQL等数据库存储元数据）
• 配置示例（以Hive Catalog为例，两个作业都执行相同的Catalog注册逻辑即可）：

// 注册Hive Catalog
val catalogName = "my_hive_catalog"
val hiveCatalog = new HiveCatalog(
  catalogName,            // Catalog名称
  "default",              // 默认数据库名
  "/path/to/hive/conf"    // Hive配置文件目录
)
tableEnv.registerCatalog(catalogName, hiveCatalog)
// 将该Catalog设置为当前会话的默认Catalog，后续建表/查表默认走这个Catalog
tableEnv.useCatalog(catalogName)

注册完成后，你在任意作业中执行的CREATE TABLE语句都会持久化存储到对应元数据存储中，其他作业只要接入同一个Catalog，就可以直接使用SELECT count(*) FROM some_table_name查询，不需要重复建表。

注意：建表时不要加TEMPORARY关键字，否则创建的还是仅当前作业可见的临时表。

方案2：公共建表语句复用 #

如果不想额外部署元数据存储，也可以将建表SQL抽离为公共代码片段，所有需要使用该表的Flink作业在启动时，都先执行一遍该CREATE TABLE语句，让每个作业在自己的元数据空间内都注册该表，也可以正常查询。

注意：不同作业读取同一个Kafka Topic时，建议配置不同的properties.group.id，避免消费位点互相干扰。

内容的提问来源于stack exchange，提问作者ivan_a