如何在Azure Databricks作业级别为任务参数添加下拉选择框

目前Azure Databricks原生作业UI暂不支持直接配置任务参数的下拉选择组件，你可以通过以下两种方案实现等效的参数值约束效果：

方案1：笔记本参数规则透传（无需额外开发） #

• 首先在作业绑定的目标笔记本中完成参数配置，定义好所有可选值、默认值、参数类型，开启参数值校验开关
• 编辑作业任务时，填写的参数名称必须和笔记本中定义的参数名称完全一致，参数值直接填入对应可选值即可
• 作业运行时Databricks会自动校验传入的参数值是否符合笔记本中定义的可选值范围，不符合的参数会直接触发运行错误，间接实现作业层面的参数值约束

该方案适配所有场景，无需额外开发成本，落地速度最快

方案2：封装作业运维流程实现配置阶段校验 #

如果需要在作业配置阶段就拦截非法参数值，避免运行时报错，可以通过Databricks CLI/SDK封装作业管理流程：

• 预先为每个作业定义参数配置清单，明确每个参数的可选值范围、默认值、参数类型，示例配置如下：

{
  "job_id": "your_job_unique_id",
  "parameter_rules": [
    {
      "param_name": "process_env",
      "allowed_values": ["dev", "test", "prod"],
      "default_value": "dev"
    },
    {
      "param_name": "data_source",
      "allowed_values": ["oss", "adls", "mysql"],
      "default_value": "adls"
    }
  ]
}

• 编写自定义作业管理脚本，在调用Databricks作业创建/更新接口前，先校验用户传入的参数值是否在对应参数的允许范围内，校验不通过直接终止操作并提示可选值
• 团队所有作业的创建、编辑操作统一通过该封装脚本执行，即可实现作业层面的参数可选值约束，甚至可以基于该脚本二次开发自定义的作业配置UI，实现可视化的参数下拉选择

该方案适合有统一作业运维规范的中大型团队使用，可大幅降低参数配置错误率

内容的提问来源于stack exchange，提问作者Arif Rizwan