如何在运行时通过ADF重命名Databricks作业集群及ClusterName标签

1. 运行时自定义作业集群名称 #

首先在ADF管道中新增管道参数process_name，用于存储业务流程名，触发管道时可动态传入对应值。
打开对应Notebook活动的配置页，切换到「设置」选项卡，找到作业集群配置区域：

• 若使用「新建作业集群」模式，直接编辑集群配置的JSON定义，新增clusterName字段，值通过ADF动态表达式拼接即可，建议增加时间戳避免重名冲突，示例如下：

{
  "clusterName": "@concat(pipeline().parameters.process_name, '_', utcnow('yyyyMMddHHmmss'))",
  "spark_version": "13.3.x-scala2.12",
  "node_type_id": "Standard_DS3_v2",
  "num_workers": 2,
  // 其余原有集群配置保持不变
}

配置完成后运行管道，生成的作业集群名称就会替换为自定义的<process_name>_时间戳格式，不再使用默认的job-xxx命名规则。

2. 自定义ClusterName标签 #

同样在集群配置的JSON定义中，新增/修改customTags字段，将ClusterName标签的值设置为你需要的业务流程名即可，示例如下：

{
  "clusterName": "@concat(pipeline().parameters.process_name, '_', utcnow('yyyyMMddHHmmss'))",
  "customTags": {
    "ClusterName": "@pipeline().parameters.process_name",
    "ResourceType": "ADF_Job_Cluster"
    // 其余原有标签保持不变
  },
  // 其余原有集群配置保持不变
}

注意事项 #

• 集群名称最长支持63个字符，拼接时请注意控制业务名称长度，避免超出字符限制导致集群创建失败。
• 若Databricks工作区配置了强制标签校验规则，需确保自定义标签符合规则要求。

内容的提问来源于stack exchange，提问作者IamDataEngineer