如何配置Databricks使dev与prod环境使用对应正确的连接字符串

核心原则：代码在dev、prod环境完全保持一致，所有环境差异化配置全部绑定到对应环境的集群，不在Notebook里硬编码任何环境相关的连接信息，从根源上避免部署时串环境的问题。

方案1：Secrets + 集群环境变量（生产环境首选） #

这是Databricks官方推荐的多环境配置方案，配置一次后续DevOps部署不需要做任何代码改动：

• 分别在dev、prod工作区创建同名Secret Scope，比如命名为db-env-config
  • dev工作区的scope下，存key为sql_jdbc_conn的dev环境SQL数据库连接串
  • prod工作区的scope下，存同名keysql_jdbc_conn的prod环境SQL数据库连接串
    所有密钥存在Secret中不会明文展示，也不会被打印到Notebook输出日志里。
• 分别给dev、prod集群配置同名环境变量：
  打开集群编辑页 -> 找到「高级选项」-> 切换到「环境变量」标签页，新增变量：
  • 变量名：SQL_JDBC_CONN
  • 变量值：{{secrets/db-env-config/sql_jdbc_conn}}
    两个集群的变量名、变量值填的内容完全一致，不需要区分环境，集群会自动拉取对应工作区Secret里存的值。
• 修改Notebook中的数据库连接代码，去掉硬编码的连接串，直接读取集群注入的环境变量即可，PySpark示例代码：

import os
# 自动获取当前运行集群对应环境的连接串
jdbc_conn_str = os.getenv("SQL_JDBC_CONN")

# 后续连接SQL数据库直接使用该变量即可，比如读表：
df = spark.read.format("jdbc") \
    .option("url", jdbc_conn_str) \
    .option("dbtable", "目标表名") \
    .load()

方案2：集群Spark配置注入（适配老版本场景） #

如果集群版本不支持环境变量直接引用Secret，可以把配置绑定到Spark配置项：

• 同样先在两个工作区建好同名Scope和同key的连接串Secret
• 打开集群编辑页 -> 高级选项 -> Spark配置，新增配置项：
  spark.custom.sql_conn {{secrets/db-env-config/sql_jdbc_conn}}
  dev、prod集群配置的key保持完全一致，value同样用Secret引用语法
• Notebook中读取配置的代码：

jdbc_conn_str = spark.conf.get("spark.custom.sql_conn")

方案3：DevOps部署时替换（临时兜底方案，不推荐长期用） #

如果短期没法调整集群配置，可以在CI/CD流水线里加预处理步骤：

• 流水线判断当前部署目标是prod环境时，自动扫描所有待部署Notebook文件，把硬编码的dev连接串替换为prod连接串
• 注意这个方案要维护严格的匹配规则，容易出现漏改、错改，而且密钥容易泄露到流水线日志，只适合临时过渡，上线稳定后必须切换到前两种集群注入的方案。

校验提示：配置完成后可以在两个集群分别运行测试Notebook读取变量，Secret类型的值打印时会自动显示为[REDACTED]，属于正常的安全保护机制，只要实际连接SQL数据库能正常读写，就说明配置生效。

内容的提问来源于stack exchange，提问作者gregeal