Azure Pipeline传递变量触发Databricks Job出现参数错误如何解决

根本原因 #

你当前存储的db_job_id变量是带外层单引号的完整JSON字符串，而databricks jobs run-now的--job-id参数只接受纯数字的Job ID值，传入整个JSON串会被识别为多个非法参数，触发报错。

解决方案 #

方案一（推荐）：创建输出变量时直接提取纯Job ID #

修改「Create Job」步骤的代码，用jq工具直接解析Databricks返回的JSON结果，提取纯数字的Job ID存入变量，后续所有步骤直接调用即可：

- script: |
    job_response=$(databricks jobs create --json '{"name": "test", "existing_cluster_id" : "'"$(db_clusterid)"'", "notebook_task ": {"notebook_path": "'"$(nbpath)"'"}}')
    job_id=$(echo $job_response | jq -r '.job_id')
    echo "##vso[task.setvariable variable=db_job_id;]$job_id"
  env:
    DB_HOST: $(db_host)
    DB_TOKEN: $(db_token)
  displayName: 'Create Job'

修改后你原来的「Run Job」步骤无需额外调整即可正常运行。

方案二：运行Job时当场解析提取ID #

如果不想修改之前的步骤，可以直接调整「Run Job」步骤的代码，当场从变量中提取纯Job ID：

- script: |
    pure_job_id=$(echo $DB_JOB_ID | tr -d "'" | jq -r '.job_id')
    databricks jobs run-now --job-id $pure_job_id
  env:
    DB_JOB_ID: $(db_job_id)
    DB_HOST: $(db_host)
    DB_TOKEN: $(db_token)
  displayName: 'Run Job'

这里先用tr -d "'"删掉变量外层的多余单引号，再用jq提取JSON中的job_id字段值。

内容的提问来源于stack exchange，提问作者kanimbla