迁移至Databricks Unity Catalog时Spark SQL代码的CI/CD最佳实践

针对Unity Catalog引入后，Spark SQL代码需要指定Catalog前缀导致的CI/CD和Git管理问题，以下是几种落地性强的最佳实践：

1. 动态设置Spark默认Catalog #

利用Spark内置配置spark.sql.catalog.current，将其设置为对应环境的Catalog名称，这样SQL代码中仅需使用schema.table格式，无需显式指定Catalog。

• 集群配置层面：在dev/qa/prod各自的集群中，预先配置spark.sql.catalog.current为对应Catalog（如dev_catalog/qa_catalog/prod_catalog）。
• 作业提交层面：通过命令行参数或作业配置传递该参数，比如：

  spark-submit --conf spark.sql.catalog.current=prod_catalog your_job.py
  

这种方式下，Git中存储的SQL代码完全无需修改，部署到不同环境时仅需切换配置。

2. 环境变量+SQL变量注入 #

在Notebook、仪表板或作业中，通过环境变量传递Catalog名称，再在SQL中引用变量：

• 在代码中读取环境变量并设置Spark配置（以Python为例）：

  import os
  catalog = os.getenv("CATALOG_NAME", "dev_catalog")
  spark.conf.set("spark.sql.catalog.current", catalog)
  

• 或直接在SQL中使用变量替换（部分平台如Databricks支持直接引用环境变量）：

  SELECT * FROM ${CATALOG_NAME}.schema.table
  

CI/CD流程中，在不同环境的部署任务里设置CATALOG_NAME变量值（如GitHub Actions的环境变量配置、GitLab CI的job变量），实现代码无修改跨环境部署。

3. 统一视图层隔离数据集 #

在每个环境的Catalog下，创建一套名称统一的视图，指向对应环境的实际表：

• Dev环境：

  CREATE OR REPLACE VIEW dev_catalog.unified_ds.user_data AS SELECT * FROM dev_catalog.raw.user_info
  

• QA环境：

  CREATE OR REPLACE VIEW qa_catalog.unified_ds.user_data AS SELECT * FROM qa_catalog.raw.user_info
  

• Prod环境：

  CREATE OR REPLACE VIEW prod_catalog.unified_ds.user_data AS SELECT * FROM prod_catalog.raw.user_info
  

之后SQL代码统一使用unified_ds.user_data，结合默认Catalog配置，即可实现跨环境的代码一致性。视图的创建可通过CI/CD脚本自动化执行，确保每个环境的视图与底层表同步。

4. 模板引擎生成环境专属SQL #

将SQL代码以模板形式存储在Git中，使用模板引擎（如Jinja2）在部署阶段根据环境渲染出最终SQL：

• 模板文件user_query.sql.j2：

  SELECT id, name FROM {{ catalog }}.raw.user_info WHERE create_time >= '{{ date_threshold }}'
  

• 渲染脚本（Python）：

  from jinja2 import Template
  import os
  
  render_vars = {
      "catalog": os.getenv("CATALOG_NAME"),
      "date_threshold": os.getenv("DATE_THRESHOLD", "2024-01-01")
  }
  
  with open("user_query.sql.j2", "r") as f:
      template = Template(f.read())
  final_sql = template.render(render_vars)
  # 将final_sql用于Notebook执行或作业提交
  

这种方式适合需要更复杂参数替换的场景，Git中存储模板，CI/CD流程负责渲染和部署。

额外注意事项 #

• 权限管控：为每个环境的服务账号配置对应Catalog的访问权限，避免因配置错误导致跨环境数据访问。
• 验证环节：在CI/CD流程中加入SQL语法检查、数据预览等步骤，确保渲染后的SQL指向正确的环境数据集。

内容的提问来源于stack exchange，提问作者nee21