无法通过Databricks资产包为作业计算集群设置实例配置文件

问题说明 #

我尝试通过Databricks资产包的databricks.yml为作业定义的计算集群设置实例配置文件，配置内容如下：

targets:
  prod:
    mode: production
    workspace:
      host: https://some_id.cloud.databricks.com
    resources:
      jobs:
        some_job:
          job_clusters:
            - job_cluster_key: job_cluster
              aws_attributes:
                instance_profile_arn: arn:aws:iam::1234:instance-profile/something

执行部署命令databricks bundle deploy -p PROD -t prod后，资产包部署成功，但在UI中查看作业时，实例配置文件并未生效。手动分配实例配置文件可正常工作，且重新部署资产包不会覆盖手动设置的内容。想问问有没有人遇到过这类问题？

常见原因及解决办法 #

• 配置层级错误：这是最普遍的问题——aws_attributes必须嵌套在new_cluster节点下，当前直接写在job_cluster下的配置不会被识别。修正后的正确配置如下：

targets:
  prod:
    mode: production
    workspace:
      host: https://some_id.cloud.databricks.com
    resources:
      jobs:
        some_job:
          job_clusters:
            - job_cluster_key: job_cluster
              new_cluster:
                aws_attributes:
                  instance_profile_arn: arn:aws:iam::1234:instance-profile/something
                # 需补充集群基础必填配置，比如节点类型、Worker数量
                node_type_id: m5.xlarge
                num_workers: 2

Databricks资产包对作业集群的配置结构要求严格，所有集群属性必须放在new_cluster节点内，否则会直接忽略该配置项。

• 已有作业的配置优先级：如果该作业此前已存在且手动修改过实例配置文件，Databricks资产包默认会保留手动修改的内容，不会强制覆盖。可以先删除现有作业，再重新部署验证：

databricks jobs delete --job-id <你的作业ID>

之后重新执行部署命令，查看配置是否生效。

• 权限不足：检查执行部署的账号是否拥有足够权限——既要具备Databricks作业的修改权限，也要有权限关联指定的IAM实例配置文件。权限不足时，资产包部署可能无报错，但会跳过实例配置文件的设置。

• 工具版本问题：旧版本的Databricks CLI或资产包工具可能存在配置解析bug，尝试升级到最新版本：

pip install --upgrade databricks-cli

社区反馈 #

不少用户在社区反馈过类似问题，绝大多数都是因为配置层级错误导致的。将aws_attributes移至new_cluster节点下后，配置基本都能正常生效。

内容的提问来源于stack exchange，提问作者DSteman