Azure Data Factory向Delta Live Table管道传参数失败，求解决方法

一、检查ADF Web Activity核心配置 #

• 确认请求方法为POST：DLT流水线启动API仅支持POST请求，需在Web Activity的Method选项中选择POST。
• 验证API端点正确性：使用DLT流水线的启动接口，格式为https://<你的Databricks区域>.azuredatabricks.net/api/2.0/pipelines/<流水线ID>/start。
• 配置正确的认证方式：选择Bearer Token认证，令牌值填入Databricks的个人访问令牌（PAT），确保该令牌有DLT流水线的启动权限。

二、正确使用ADF动态内容传递变量 #

若要将ADF的参数/变量传入DLT，需在Web Activity的请求体中使用ADF动态表达式，而非静态JSON：

1. 假设ADF流水线定义了参数ingestionSource，请求体需切换到动态内容模式，编写如下内容：

{
  "fullRefresh": true,
  "configuration": {
    "ingestionsourceName": "@pipeline().parameters.ingestionSource"
  }
}

2. 调试时查看Web Activity的输入日志，确认实际发送的请求体中变量已被正确替换。

三、DLT端验证变量接收逻辑 #

确保DLT流水线能正确读取传入的配置变量：

• Python笔记本示例：

dbutils.widgets.text("ingestionsourceName", "")
source_name = dbutils.widgets.get("ingestionsourceName")
# 后续业务逻辑使用source_name变量

• SQL笔记本示例：

SET VAR ingestionsourceName = "${ingestionsourceName}";
-- 使用变量进行数据 ingestion
SELECT * FROM ${ingestionsourceName}.source_table;

四、排查常见问题 #

• 检查请求体语法：确保JSON格式无错误，动态表达式未出现语法错误。
• 查看DLT流水线日志：启动后在Databricks的DLT界面查看运行日志，确认configuration中的参数是否被正确加载。
• 权限验证：确认ADF使用的PAT拥有pipeline runs的权限，避免因权限不足导致参数未生效。

内容的提问来源于stack exchange，提问作者Manjula Ganesapandian