Azure Synapse Pipeline动态加载Blob分层JSON文件时Get Metadata报错

一、Get Metadata BadRequest错误排查 #

1. 动态路径表达式校验 #

先检查生成Blob路径的表达式是否正确：

• 日期格式必须和Blob里的yyyy-MM-dd、HH完全匹配，比如用@formatDateTime(addMinutes(utcnow(), -15), 'yyyy-MM-dd')生成日文件夹（每15分钟跑一次，抓上一个周期的文件），路径拼接不能多斜杠或漏斜杠，正确格式示例：

  @concat('XYZ/', formatDateTime(addMinutes(utcnow(), -15), 'yyyy-MM-dd'), '/', formatDateTime(addMinutes(utcnow(), -15), 'HH'), '/')
  

• 如果用触发时间而非utcnow，要确保@trigger().scheduledTime的格式转换准确，避免生成不存在的路径。

2. 权限验证 #

确认Get Metadata活动使用的身份（托管标识/服务主体）对Blob容器XYZ有Storage Blob Data Reader权限，无权限时经常会返回无明确信息的BadRequest。

3. 路径存在性检查 #

如果当前时间减15分钟对应的小时文件夹还未生成（Teams数据还没写入），Get Metadata会直接报错。可以加个If Condition活动，判断@activity('Get Metadata').output.exists是否为true，只有路径存在时才执行后续流程，否则跳过。

4. 属性选择冗余 #

Get Metadata里不要勾选不需要的属性，比如只需要获取文件列表，就只选childItems和exists，选过多无效属性也可能触发BadRequest。

二、完整动态增量加载实现步骤 #

1. 定义时间变量 #

在Pipeline变量里创建两个字符串类型变量：

• LastRunTime：记录上次运行的结束时间（或直接用递归触发器的@trigger().scheduledTime，更可靠）
• CurrentRunTime：记录本次运行的触发时间

2. 配置Get Metadata活动 #

• 数据源选Azure Blob Storage，指定容器XYZ，文件路径用动态表达式（以上一个15分钟周期为例）：

  @concat(formatDateTime(addMinutes(trigger().scheduledTime, -15), 'yyyy-MM-dd'), '/', formatDateTime(addMinutes(trigger().scheduledTime, -15), 'HH'), '/')
  

• 字段只勾选childItems和exists，减少不必要的请求内容。

3. 动态构建Serverless SQL查询 #

在Copy Activity的源端用Serverless Pool查询，动态引用路径并添加时间过滤，避免重复加载：

SELECT 
    JSON_VALUE(doc, '$.teamId') AS teamId,
    JSON_VALUE(doc, '$.messageContent') AS messageContent,
    JSON_VALUE(doc, '$.createdTime') AS createdTime,
    doc AS rawData
FROM OPENROWSET(
    BULK 'https://<你的存储账户名>.dfs.core.windows.net/XYZ/@{formatDateTime(addMinutes(trigger().scheduledTime, -15), 'yyyy-MM-dd')}/@{formatDateTime(addMinutes(trigger().scheduledTime, -15), 'HH')}/*.json',
    FORMAT = 'CSV',
    FIELDTERMINATOR ='0x0b',
    FIELDQUOTE = '0x0b'
) WITH (doc NVARCHAR(MAX)) AS rows
-- 用触发时间的前后15分钟作为增量范围，精准过滤数据
WHERE JSON_VALUE(doc, '$.createdTime') >= '@{formatDateTime(addMinutes(trigger().scheduledTime, -15), 'yyyy-MM-ddTHH:mm:ss')}'
AND JSON_VALUE(doc, '$.createdTime') < '@{formatDateTime(trigger().scheduledTime, 'yyyy-MM-ddTHH:mm:ss')}'

4. 幂等性处理 #

在Dedicated SQL Pool的目标表中添加唯一键（比如teamId + createdTime + messageId），然后在Copy Activity的设置里开启Upsert，指定唯一键列，确保重复数据不会被多次插入。

5. 触发器配置 #

创建递归触发器，设置每15分钟触发一次，触发时间对齐到整点/15分/30分/45分，保证近实时的加载频率。

三、额外排查技巧 #

如果还是报错，查看Pipeline运行日志里Get Metadata的输入和输出：

• 输入里的动态路径是否和Blob实际路径一致
• 输出里是否有隐藏的详细错误信息（有时候BadRequest的具体原因会在这里显示）
  也可以单独测试Get Metadata活动，直接输入手动拼接的正确路径，看是否能正常返回结果，排除路径表达式的问题。

内容的提问来源于stack exchange，提问作者TA01