如何在DevOps流水线中等待Databricks作业执行完成后再执行后续任务？

我之前在DevOps流水线里也碰到过一模一样的情况——触发Databricks作业后流水线直接跑下一个任务，完全不管作业有没有完成。后来折腾出几个靠谱的方案，分享给你：

核心思路 #

触发作业拿到run_id后，通过轮询Databricks的作业状态API，直到作业进入终止状态（成功/失败），再继续流水线的后续步骤。

方案1：用Databricks CLI + 脚本轮询 #

这是最通用的方案，不管你用哪种CI/CD工具（GitHub Actions、GitLab CI、Jenkins等）都能直接用。

步骤1：触发作业并提取run_id

首先执行触发命令，用jq解析输出拿到run_id（如果没装jq的话，先在流水线代理上安装它）：

# 触发作业并捕获run_id
RUN_RESPONSE=$(databricks jobs run-now --job-id 246)
RUN_ID=$(echo $RUN_RESPONSE | jq -r '.run_id')
echo "触发的Databricks作业Run ID: $RUN_ID"

步骤2：编写轮询循环脚本

写一个循环，每隔一段时间检查作业状态，直到作业完成：

# 设置轮询间隔（秒）和超时次数
POLL_INTERVAL=30
MAX_RETRIES=60  # 30秒*60=30分钟超时

retry_count=0
while [[ $retry_count -lt $MAX_RETRIES ]]; do
  # 获取作业状态详情
  RUN_DETAILS=$(databricks runs get --run-id $RUN_ID)
  LIFE_CYCLE_STATE=$(echo $RUN_DETAILS | jq -r '.state.life_cycle_state')
  RESULT_STATE=$(echo $RUN_DETAILS | jq -r '.state.result_state')

  # 判断作业状态
  case $LIFE_CYCLE_STATE in
    "TERMINATED")
      if [[ $RESULT_STATE == "SUCCESS" ]]; then
        echo "✅ Databricks作业执行成功！Run ID: $RUN_ID"
        exit 0
      else
        echo "❌ Databricks作业执行失败，结果状态: $RESULT_STATE"
        exit 1
      fi
      ;;
    "INTERNAL_ERROR"|"FAILED")
      echo "❌ Databricks作业异常终止，生命周期状态: $LIFE_CYCLE_STATE"
      exit 1
      ;;
    *)
      echo "⏳ 作业当前状态: $LIFE_CYCLE_STATE，等待$POLL_INTERVAL秒后再次检查..."
      sleep $POLL_INTERVAL
      ((retry_count++))
      ;;
  esac
done

# 超时处理
echo "⏰ 等待Databricks作业完成超时（已等待$((MAX_RETRIES*POLL_INTERVAL))秒）"
exit 1

关键注意事项 #

• 权限与认证：确保流水线代理已经配置好Databricks的认证信息（比如设置环境变量DATABRICKS_HOST和DATABRICKS_TOKEN），否则CLI命令会失败。
• 轮询参数调整：根据你的作业平均执行时长，修改POLL_INTERVAL（轮询间隔）和MAX_RETRIES（最大重试次数），避免不必要的等待或者超时。
• 异常处理：脚本里加入了超时和异常状态判断，防止流水线无限挂起或者忽略作业失败的情况。

这个方案我在多个项目里都用过，能完美实现“等待Databricks作业完成再走流水线下一步”的需求～

内容的提问来源于stack exchange，提问作者alex3465