如何分离Delta Live Tables的生产与开发目标及代码仓库分支？

完全可以用Delta Live Tables（DLT）实现你要的两个需求，而且能避免Jobs手动维护DAG的问题，下面是具体实现方案：

1. 根据环境切换Hive Metastore目标 #

DLT支持通过流水线配置参数+代码逻辑动态切换存储目标，核心思路是给不同环境的流水线设置标识，然后在代码中读取该标识来调整表的存储位置或关联的Metastore。

具体实现： #

• 第一步：创建DLT流水线时，在「高级」配置的「环境变量」中添加环境标识，比如给开发流水线设ENV=dev，生产流水线设ENV=prod。
• 第二步：在DLT笔记本代码中读取该变量，动态配置表的存储或数据库：

import os
from delta.tables import *

# 读取环境变量，默认设为dev
env = os.getenv("ENV", "dev")

# 方式1：切换到对应环境的数据库（前提是已在Metastore中创建好dev/prod库）
spark.sql(f"USE {env}_datawarehouse")

# 方式2：创建表时指定对应环境的存储路径
@dlt.table(
    name="customer_raw",
    location=f"/{env}/lakehouse/customer_raw"
)
def load_customer_raw():
    return spark.read.json("/raw/customer_data")

# 方式3：切换不同的Catalog（适用于多Metastore场景）
if env == "prod":
    spark.conf.set("spark.sql.catalog.currentCatalog", "prod_catalog")
else:
    spark.conf.set("spark.sql.catalog.currentCatalog", "dev_catalog")

这种方式能确保开发和生产流水线的表写入各自独立的Metastore或存储路径，不会互相干扰。

2. 按流水线拉取不同代码分支 #

DLT本身支持直接从Git仓库的指定分支拉取代码，你之前遇到的无法指定分支的问题，大概率是代码源选择或配置的问题，下面是正确的配置方式：

具体实现： #

• 创建DLT流水线时，选择「Git」作为代码源，而非Workspace文件夹。
• 在「Git repository URL」中填入你的代码仓库地址，然后在「Branch/tag/commit」字段中输入对应分支名（比如开发流水线填dev，生产流水线填main）。
• 配置好Git仓库的访问权限（比如用个人访问令牌），确保流水线能拉取对应分支的代码。

如果你的笔记本是存储在Databricks Workspace且关联了Git仓库，也可以先将Workspace文件夹与指定分支同步，再创建流水线指向该同步文件夹——但直接用Git作为DLT代码源的方式更直接，能确保流水线每次运行都拉取对应分支的最新代码。

对比Jobs的优势 #

用DLT实现的话，不需要手动定义DAG，DLT会自动解析表之间的依赖关系生成执行计划，健壮性远高于Jobs手动维护的DAG，同时完美满足你多环境、多分支的需求。

内容的提问来源于stack exchange，提问作者Michael Brenndoerfer