Databricks Notebook命令状态与ADF联动校验配置方案咨询

问题根因说明 #

• 默认情况下ADF的Databricks Notebook活动只会在两种情况标记为失败：一是Databricks返回运行失败状态（对应Notebook顶层抛出未处理异常），二是活动调用本身超时、鉴权失败等系统错误
• 你遇到的偶发异常大概率是Notebook内部的错误被异常捕获逻辑吞了，没有抛出到顶层，所以ADF认为活动运行成功，才会触发后续流程

可行实现方案 #

方案1：改造Notebook顶层抛出异常（最轻量改法） #

不需要修改现有ADF流水线配置，仅调整Notebook代码即可：

• 在你要作为校验依据的最后一段逻辑（即你提到的第10条Python命令）前后增加状态标记，比如定义全局变量run_success = False，最后一段逻辑执行成功后赋值为run_success = True，执行失败则保持False
• 在Notebook最末尾增加判断逻辑，如果标记为失败则主动抛出未捕获异常，示例代码：

if not run_success:
    raise RuntimeError("Notebook核心逻辑执行失败")

• 只要Notebook顶层抛出未处理异常，ADF会自动将对应活动标记为失败，按原有默认链路规则阻断后续活动执行。

方案2：通过Notebook返回值+ADF自定义链路条件校验（灵活度更高） #

如果不想让Notebook抛出异常，或者需要更细粒度的状态判断，可选择该方案：

• 改造Notebook，最后一段核心逻辑执行完成后，用Databricks原生的dbutils.notebook.exit()方法返回自定义状态，比如执行成功返回{"status":"success", "code":200}，执行失败返回{"status":"failed", "code":500, "error_msg":"错误详情"}，示例代码：

try:
    # 此处为你的第10条核心命令逻辑
    run_core_task()
    dbutils.notebook.exit('{"status":"success", "code":200}')
except Exception as e:
    dbutils.notebook.exit(f'{{"status":"failed", "code":500, "error_msg":"{str(e)}"}}')

• 修改ADF中前序Notebook活动到下一个活动的链路条件，将默认的「成功」条件改为自定义表达式，校验返回值的状态，表达式示例：
  @equals(activity('前序Databricks活动名称').output.runOutput.status, 'success')
• 可额外增加失败分支，匹配返回值为失败的情况，触发告警、重试等异常处理逻辑。

方案3：调用Databricks Jobs API二次校验（兜底方案） #

如果无法修改现有Notebook代码，可选择该兜底方案：

• 每个Databricks Notebook活动执行完成后，新增一个Web活动，调用Databricks Jobs的runs/get接口，传入前序Databricks活动返回的run_id，查询该次Notebook运行的全量命令执行状态
• 从接口返回结果的commands列表中提取最后一条命令的执行状态，作为链路判断依据
• 配置链路条件，仅当最后一条命令状态为SUCCESS时才触发后续活动

注意事项 #

• 优先选择方案1，改造成本最低，符合ADF和Databricks的原生交互逻辑，出错概率最低
• 方案2适合需要保留Notebook内部异常捕获逻辑、不希望抛出顶层异常的场景，可自定义多维度的状态判断规则
• 方案3仅适合无法修改Notebook代码的场景，需要额外配置Databricks API鉴权，维护成本相对更高

内容的提问来源于stack exchange，提问作者Noor Basha Shaik