ADF流水线部署最佳实践及跨dev/test/prod环境配置方案咨询

基础适配方案（UI操作友好） #

针对你三套环境配置差异的需求，优先使用ADF原生参数化能力，零代码改造即可完成适配：

• 所有linked services做参数化改造：将环境相关的属性（连接字符串、租户ID、资源ID、密钥引用地址等）全部设为动态参数，不要写死固定值
• datasets同步参数化：如果存在环境关联的库名、容器名、文件路径等配置，同样设为参数，依赖上层管道或全局参数传值
• 三套环境分别配置独立的全局参数集：所有差异化取值统一存放到对应环境的全局参数中，部署时直接加载对应参数集即可，无需修改datasets和linked services的核心定义

敏感配置（密码、访问密钥等）不要存放在参数文件中，统一存储到对应环境的Azure Key Vault，linked services直接引用密钥URI，不同环境的Key Vault访问地址设为全局参数即可。

适配现有BitBucket+Jenkins/Octopus CI/CD的自动化方案 #

前置配置 #

首先开启ADF的代码存储库集成，绑定到你的BitBucket仓库，所有UI操作的配置改动会自动导出为ARM模板存储到仓库指定目录，无需手动导出代码。

CI流程（Jenkins侧实现） #

当代码合并到dev/test/prod对应分支后，自动触发以下步骤：

• 校验ADF ARM模板合法性：使用Az.DataFactory PowerShell模块的校验命令，验证管道、数据集、关联服务配置的合法性
• 打包ARM模板和对应环境的参数文件，作为制品推送到Octopus制品库

示例校验脚本：

# 安装依赖模块
Install-Module -Name Az.DataFactory -Force -AllowClobber
# 校验指定ADF资源配置
Test-AzDataFactoryV2Pipeline `
  -ResourceGroupName "你的资源组名称" `
  -DataFactoryName "对应环境ADF名称" `
  -Name "待校验管道名称"

CD流程（Octopus侧实现） #

拉取对应环境的部署制品后，执行以下步骤：

• 使用Octopus原生变量替换能力，将预存的环境变量映射到ARM模板的参数占位符
• 执行ARM模板部署命令，将配置发布到对应环境的ADF实例

示例部署脚本：

New-AzResourceGroupDeployment `
  -ResourceGroupName $env:TARGET_RG_NAME `
  -TemplateFile ./ARMTemplateForFactory.json `
  -TemplateParameterFile ./ARMTemplateParametersForFactory.json `
  -factoryName $env:TARGET_ADF_NAME `
  -keyVaultUri $env:TARGET_KV_URI

新手过渡方案 #

如果暂时不需要全流程自动化，可先使用ADF UI的发布配置功能：每次从dev环境发布时，选择对应test/prod环境的参数配置文件，即可一键发布到目标环境，无需手动调整每个资源的配置，熟悉操作后再切换到全自动化CI/CD即可。

内容的提问来源于stack exchange，提问作者SimpleUser