Azure Synapse CI/CD流水线：如何正确覆盖Notebook中的Apache Spark池名称

问题根源 #

你遇到的错误是因为Notebook中硬编码的Spark池引用synDEVSPark未被正确替换为生产环境池名，且template-parameters-definition.json的参数定义未覆盖到Notebook里的Spark池引用字段。

正确配置步骤 #

1. 修正template-parameters-definition.json参数定义 #

需要同时定义Spark池本身的名称参数和Notebook中Spark池引用的参数，确保两处名称都能被替换。示例配置如下：

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {},
  "definitions": {
    "BigDataPool": {
      "properties": {
        "name": {
          "parameterization": "required",
          "parameterName": "bigDataPools_{originalName}_name"
        }
      }
    },
    "Notebook": {
      "properties": {
        "sparkPool": {
          "referenceName": {
            "parameterization": "required",
            "parameterName": "notebook_sparkPool_referenceName"
          }
        }
      }
    }
  }
}

• BigDataPool部分：将Spark池名称定义为必填参数，参数名格式为bigDataPools_原池名_name
• Notebook部分：将所有Notebook中sparkPool.referenceName字段定义为必填参数，统一用notebook_sparkPool_referenceName作为参数名（也可按Notebook单独定义，用{originalName}占位符生成对应参数名）

2. 流水线变量与部署任务配置 #

• 在Azure DevOps流水线中创建变量ProductionSparkPoolName，值设为synPROSPark1
• 在Synapse部署任务的Override template parameters字段中添加：

  -bigDataPools_synDEVSPark_name $(ProductionSparkPoolName) -notebook_sparkPool_referenceName $(ProductionSparkPoolName)
  

  若需针对单个Notebook配置，可使用对应参数名，比如-notebooks_MyBusinessNotebook_sparkPool_referenceName $(ProductionSparkPoolName)

3. 关键注意事项 #

• 确保生产环境Synapse工作区已存在名为synPROSPark1的Spark池，部署任务仅替换引用，不会自动创建Spark池
• 导出ARM模板时需包含所有相关资源（Notebook和Spark池），否则参数定义无法生效
• 验证生成的ARM参数文件（parameters.json）中是否包含你定义的参数，确认参数映射正确

验证方法 #

部署前手动检查导出的ARM模板，搜索synDEVSPark，确认所有出现位置都已替换为参数引用[parameters('xxx')]，确保部署时会用流水线变量的值完成替换。

内容的提问来源于stack exchange，提问作者Tsu Kernik