使用ADF调用Databricks Notebook时出现更新运行错误引发误告警求助

问题现象 #

使用Azure Data Factory (ADF) 调用Databricks Notebook时，Notebook实际执行成功，但ADF管道返回错误：

Databricks execution failed with error state: InternalError, error message: failed to update run GlobalRunId(xx155,RunId(yy))

该错误会触发ADF的错误告警，尽管Databricks侧日志无异常。

可能的原因与解决步骤 #

1. 权限配置验证 #

• 确认ADF使用的服务主体在Databricks中拥有运行Notebook和更新作业运行状态的权限，避免因权限不足导致状态同步失败。
• 检查服务主体是否加入Databricks工作区的对应权限群组（如admin群组或自定义作业管理群组）。

2. 调整活动超时设置 #

• 若Notebook执行时长较长，ADF活动超时可能导致状态更新请求中断。延长ADF中Databricks Notebook活动的超时时间（默认7天），确保ADF能等待到Databricks返回最终状态。

3. 自定义状态验证逻辑 #

• 在Notebook末尾添加代码，主动记录执行状态（如写入状态表、生成成功标记文件）。
• 修改ADF管道逻辑，忽略该InternalError，转而通过验证Notebook的执行结果（如检查状态表记录、输出文件）来判断任务是否成功。

4. 组件版本检查 #

• 确保使用最新版本的自托管集成运行时（若ADF使用），避免版本兼容问题导致状态同步失败。
• 确认Databricks Runtime为稳定版，规避老旧或预览版Runtime的潜在问题。

5. 错误分支处理 #

• 在ADF管道中添加错误处理分支，当捕获到包含failed to update run GlobalRunId的InternalError时，跳过告警，执行结果验证步骤。
• 示例判断表达式：

  @equals(activity('DatabricksNotebookActivity').error.code, 'InternalError') && contains(activity('DatabricksNotebookActivity').error.message, 'failed to update run GlobalRunId')
  

内容的提问来源于stack exchange，提问作者data_engineering10