Azure DevOps流水线更新Databricks作业失败求助

数据老陈

2026-7-31

问题排查与解决方案

核心原因

databricks jobs get返回的是完整的作业元数据对象，包含job_id、creator_user_name、created_time等只读顶层字段，但databricks jobs reset命令仅接受作业的settings部分作为输入。当传入完整对象时，CLI解析逻辑会被干扰，无法正确识别嵌套在settings中的existing_cluster_id参数，从而触发INVALID_PARAMETER_VALUE报错。

解决方案

方案1：用`jq`提取`settings`部分（推荐）

修改步骤1的命令，直接导出作业的settings内容，避免多余字段干扰：

databricks jobs get --job-id $(job_id) | jq '.settings' > workflow.json

如果已经导出了完整JSON，也可以在步骤2中实时提取有效内容：

databricks jobs reset --job-id $(target_job_id) --json <(cat workflow.json | jq '.settings')

注意：$(target_job_id)需要替换为目标Databricks工作区中对应的作业ID，源工作区的job_id（123）在目标工作区中大概率不存在。

方案2：手动编辑JSON文件

打开workflow.json，删除顶层的job_id、creator_user_name、run_as_user_name、run_as_owner、created_time字段，只保留settings内部的内容，修改后的文件结构如下：

{
    "name": "my-workflow",
    "existing_cluster_id": "abc-def-123-xyz",
    "email_notifications": {
        "no_alert_for_skipped_runs": false
    },
    "webhook_notifications": {},
    "timeout_seconds": 0,
    "notebook_task": {
       "notebook_path": "notebooks/my-notebook",
       "base_parameters": {
           "environment": "production"
       },
       "source": "GIT"
    },
    "max_concurrent_runs": 1,
    "git_source": {
        "git_url": "https://my-org@dev.azure.com/my-project/_git/my-repo",
        "git_provider": "azureDevOpsServices",
        "git_branch": "master"
    },
    "format": "SINGLE_TASK"
}