Apache Airflow中Databricks Operator任务实例状态空白求助

这种情况我碰到过好几次，大概率是连接配置、参数缺失或者权限问题导致的，咱们一步步来排查：

• 首先检查Databricks Airflow连接是否配置正确
  Databricks Operator依赖Airflow的连接完成认证，你需要在Airflow UI的「Admin > Connections」里创建一个类型为Databricks的连接（默认conn_id是databricks_default，如果你的Operator指定了自定义conn_id，要确保两者对应）。
  必须填写的核心字段：

  • Host：你的Databricks Workspace完整URL（比如https://xxx.cloud.databricks.com）
  • Password：你的Databricks个人访问令牌（PAT），这个令牌必须具备足够权限（比如Can manage clusters、Can run jobs）
    别漏了点击保存——很多人配置完忘了这一步，直接导致Operator找不到认证信息。

• 确认Databricks Operator的必填参数是否齐全
  以DatabricksSubmitRunOperator为例，你必须提供以下核心配置：

  • 要么指定existing_cluster_id（已存在的集群ID），要么在json参数里配置new_cluster来创建临时集群
  • notebook_task中的notebook_path必须是Databricks Workspace内的完整路径（比如/Users/your-email@domain.com/your-target-notebook），路径拼写错误会导致任务静默失败
    举个正确的参数示例：

  notebook_run = DatabricksSubmitRunOperator(
      task_id='run_databricks_notebook',
      conn_id='databricks_default',
      json={
          'existing_cluster_id': '1234-567890-abc123',
          'notebook_task': {
              'notebook_path': '/Users/you@company.com/my_etl_notebook'
          }
      }
  )
  

• 查看任务日志和Databricks Job运行记录
  状态空白往往是任务执行出错但未在Airflow UI显示，你可以：

  1. 在Airflow UI点击任务实例，选择「View Log」，查看是否有认证失败、参数错误的日志信息
  2. 登录Databricks Workspace，进入「Jobs > Runs」查找对应运行记录：如果Airflow提交了任务但Databricks无记录，说明连接或参数有问题；如果有记录但失败，查看Databricks的错误提示（比如集群启动失败、Notebook权限不足）

• 检查DAG的调度与依赖配置
  确保你的DAG的start_date设置为过去的时间（比如datetime(2024, 1, 1)），如果start_date在未来，Airflow不会调度任务。另外确认run_this.set_downstream(notebook_run)的依赖关系是否正确，有没有设置depends_on_past=True导致前序任务状态影响当前任务。

• 验证Databricks令牌的权限范围
  你的PAT令牌至少需要以下权限：

  • jobs.create：提交运行任务
  • clusters.view/clusters.create（如果使用临时集群）
  • notebooks.run：运行Notebook
    可以用令牌调用Databricks API做简单测试，比如：

  curl -n -X GET https://your-workspace-url/api/2.0/clusters/list -H "Authorization: Bearer your-token"
  

  如果返回正常说明令牌权限没问题；如果返回权限错误，就需要调整令牌的权限范围。

内容的提问来源于stack exchange，提问作者Ongole