如何禁用Azure Data Factory触发Databricks DLT时的全表重置?
解决ADF触发Delta Live Table时的全表重置问题
检查Web Activity的API请求参数
ADF调用DLT作业时,若请求体中设置了full_refresh: true,会触发全表重置。而Databricks UI默认用非重置模式运行,所以需要修改Web Activity的POST请求体,确保full_refresh设为false(或直接移除该参数,默认即为false)。示例请求体如下:{ "job_id": "你的DLT作业ID", "full_refresh": false }确认DLT作业的默认配置
登录Databricks UI,找到目标DLT作业,检查作业配置中是否存在强制全刷新的参数(如pipelines.fullRefresh)。若该参数被设为true,将其改为false或直接移除,避免作业本身默认执行全重置。验证API调用的正确性
确保ADF调用的是Databricks Jobs API v2.0的/api/2.0/jobs/run-now端点,旧版本API可能存在默认行为差异。同时确认服务主体拥有jobs.run权限,避免因权限异常触发意外逻辑。
内容的提问来源于stack exchange,提问作者Moein
相关产品推荐
相关产品推荐

