如何在dbt测试失败时让Databricks Job状态仍为成功而非失败

核心思路 #

默认情况下，dbt测试失败会返回非零退出码，直接导致Databricks Job被标记为失败。我们要做的是拦截dbt测试的退出状态，强制让整个作业最终返回零退出码，同时可按需单独处理dbt测试失败的告警逻辑。

具体实现方案 #

方案1：脚本内捕获dbt测试退出码并强制返回成功 #

修改Databricks Job的执行脚本，执行dbt测试后无论结果如何，都返回成功状态：

# 执行dbt测试
dbt test --profiles-dir ./ --target prod

# 可选：记录测试失败的详细信息到日志
TEST_EXIT_CODE=$?
if [ $TEST_EXIT_CODE -ne 0 ]; then
  echo "dbt测试执行失败，退出码：$TEST_EXIT_CODE"
  # 可选：在这里添加自定义告警逻辑，比如单独调用Teams webhook发送测试失败通知
fi

# 强制返回成功状态，确保Databricks Job标记为成功
exit 0

方案2：结合dbt参数实现精细化控制（进阶） #

如果需要忽略特定测试的失败，或者仅记录失败不终止作业，可以结合dbt参数调整：

# 执行dbt测试，排除标记为非关键的测试（仅运行critical标签的测试）
dbt test --profiles-dir ./ --target prod --select tag:critical

# 将所有测试失败结果存储到指定表，便于后续排查
dbt test --profiles-dir ./ --target prod --store-failures

# 强制返回成功状态
exit 0

方案3：多任务Job配置调整 #

如果你的Databricks Job是多任务结构：

• 将dbt测试拆分为独立任务
• 在该任务的失败策略中选择Continue job execution，确保即使测试失败，后续任务仍能运行
• 添加一个收尾任务，该任务仅执行exit 0，确保整个作业最终标记为成功

注意事项 #

• 若需要保留dbt测试失败的告警，不要依赖Databricks Job的失败触发机制，需在脚本中单独实现告警逻辑
• 务必完整记录dbt测试的失败日志，避免丢失排查依据
• 先在非生产环境验证脚本逻辑，确保作业状态符合预期

内容的提问来源于stack exchange，提问作者Катя Рябова