如何将大量DDL从Azure Databricks开发实例导入重建到生产实例

以下三种方案都可以实现无需手动逐句执行的批量部署需求，可根据你的实际操作场景选择：

方案1：生产实例Notebook直接执行（最便捷，适合临时部署） #

• 先将保存好的DDL文件上传到生产实例的Unity Catalog Volume或者DBFS路径中，比如路径为/Volumes/prod_catalog/common/script_bak/all_ddl.sql
• 在生产实例新建一个PySpark Notebook，绑定有权限创建元数据的SQL仓库，运行以下代码即可批量执行所有语句：

# 替换为你的DDL文件实际存储路径
ddl_file_path = "/Volumes/prod_catalog/common/script_bak/all_ddl.sql"

with open(ddl_file_path, "r", encoding="utf-8") as f:
    raw_sql = f.read()

# 拆分SQL语句，过滤空行和单行注释
sql_list = [
    stmt.strip()
    for stmt in raw_sql.split(";")
    if stmt.strip() and not stmt.strip().startswith("--")
]

# 逐句执行并打印进度
for seq, sql in enumerate(sql_list, start=1):
    show_sql = sql[:60] + "..." if len(sql) > 60 else sql
    print(f"执行第 {seq}/{len(sql_list)} 条语句: {show_sql}")
    spark.sql(sql)

print("✅ 所有DDL语句执行完成")

方案2：本地通过Databricks CLI批量执行（适合不想在生产界面操作的场景） #

• 本地提前安装Databricks CLI，完成生产实例的认证配置，确认当前账号拥有生产环境对应Catalog、Schema的创建/修改权限
• 本地写脚本读取DDL文件拆分语句后，循环调用CLI的SQL执行命令即可，单条语句的执行命令参考：

databricks sql execute \
  --statement "你的SQL语句内容" \
  --warehouse-id 你的生产SQL仓库ID \
  --output json

方案3：集成到CI/CD流水线（适合团队常规迭代部署） #

如果是需要常态化部署DDL变更，可把DDL文件托管到代码仓库，在CI/CD流水线中配置执行逻辑：

• 提交DDL变更时自动触发语法校验
• 配置审批环节，审批通过后自动调用Databricks接口执行生产环境的DDL语句
• 自动留存执行日志，方便后续排查问题

注意事项 #

• 执行前务必先备份生产实例的元数据，避免DDL编写错误导致生产表/视图被误删
• 建议先在生产环境的沙箱空间试运行一次，确认没有语法错误、权限不足、存储路径不匹配等问题
• 如果DDL中硬编码了开发环境的Catalog、Schema名称，需要先批量替换为生产环境对应值后再执行
• 涉及外部表的DDL，需要提前确认生产实例有权限访问外部存储的对应路径

内容的提问来源于stack exchange，提问作者SqlDev_ADB