使用Azure Data Factory Webhook活动启动Databricks作业遇阻求助
解决ADF Webhook活动无法启动Databricks作业的问题
问题核心
你遇到的问题根源就是Webhook活动缺少connectVia配置项。这个配置指定了ADF用来发送请求的集成运行时(IR),你的Web活动能成功触发Databricks作业,正是因为用了labs-dq-integrationRuntime这个IR——如果你的Databricks环境需要通过特定IR(比如自托管IR)才能访问,Webhook默认使用的Azure托管IR根本连不上Databricks,导致请求没发出去,所以作业没启动,ADF一直处于“进行中”等待回调。
解决方法:给Webhook活动添加connectVia配置
ADF的Webhook活动在UI可视化配置里确实没有直接显示connectVia选项,但可以通过代码视图/ARM模板编辑来添加:
- 打开ADF管道的代码视图(点击管道编辑页面右上角的
</>图标) - 找到Webhook活动的JSON定义部分,插入
connectVia节点,格式和Web活动完全一致:"connectVia": { "referenceName": "labs-dq-integrationRuntime", "type": "IntegrationRuntimeReference" } - 保存配置后重新运行管道
额外注意事项
Webhook活动需要Databricks作业完成后主动回调ADF提供的Webhook URL,所以还要确保你的Databricks作业逻辑里包含回调步骤:
- 在Databricks作业的Python脚本末尾,调用ADF Webhook活动生成的回调URL(可通过ADF参数传递给Databricks)
- 如果作业失败,也要调用失败回调地址,避免ADF一直挂起
内容的提问来源于stack exchange,提问作者mstrba
相关产品推荐
相关产品推荐

