如何移除Databricks Notebook硬编码通过Azure DevOps实现跨环境代码升级

完全可以移除硬编码逻辑，以下是3种适配Azure DevOps CI/CD流程的常用落地方案： #

方案1：Azure DevOps管道变量+占位符替换 #

这是最常用的配置和代码分离方案，所有环境配置统一在管道侧管控：

• 改造现有代码中的路径定义：将硬编码的ADLS前缀替换为统一格式的占位符，比如将adls_path = "abfss://xxx@devadls.dfs.core.windows.net/biz"修改为adls_path = "{{ADLS_BASE_PATH}}/biz"
• 在Azure DevOps管道的变量配置页，分别为dev、prod环境创建同名变量ADLS_BASE_PATH，dev环境填写dev ADLS的地址前缀，prod环境填写prod ADLS的地址前缀，生产环境的敏感路径可标记为保密变量避免泄露
• 在管道的各环境部署阶段前增加替换令牌任务，指定需要替换占位符的代码文件路径，管道运行时会自动将占位符替换为当前环境的实际路径值，再部署到对应Databricks环境即可

方案2：Databricks秘密作用域存储环境配置 #

该方案可实现代码完全环境无感知，不需要管道做额外修改：

• 分别在dev、prod环境的Databricks工作区中创建同名的秘密作用域，在各环境的作用域中创建同名密钥adls-base-path，值分别对应当前环境的ADLS地址前缀
• 统一修改代码中的路径获取逻辑：adls_base_path = dbutils.secrets.get(scope="your_common_scope_name", key="adls-base-path")，后续业务路径直接基于该基础路径拼接即可
• CI/CD流程无需额外配置，相同代码直接推送到不同环境的Databricks即可自动适配当前环境的路径

方案3：Databricks作业参数注入 #

如果你的代码都是以Databricks作业形式运行，可以用参数注入的方式实现：

• 代码中通过作业参数获取ADLS基础路径：如果是Notebook用adls_base_path = dbutils.widgets.get("adls_base_path")，如果是Python脚本用import sys; adls_base_path = sys.argv[1]
• Azure DevOps在部署各环境的Databricks作业时，根据部署环境给adls_base_path参数传入对应环境的ADLS地址即可

优先推荐方案2，全程无硬编码内容，后续新增环境只需要在对应Databricks工作区配置相同的密钥即可，维护成本最低。如果企业要求所有环境配置必须统一在DevOps侧管控、不允许在Databricks侧单独修改配置，选择方案1更符合管控要求。

内容的提问来源于stack exchange，提问作者KavileBhagavathi