You need to enable JavaScript to run this app.
优惠活动
大模型
产品
解决方案
定价
更多

Azure Synapse/Data Factory复制活动中REST分页输出JSON文件格式无效问题求助

Azure Synapse/Data Factory复制活动中REST分页输出JSON文件格式无效问题求助

各位大佬,我现在碰到个麻烦事,想请教下解决方案:我在Azure Synapse(或者Data Factory)里用复制活动,从一个带分页的REST API拉取数据,数据源是REST服务,接收器配置的是Azure Data Lake Gen2的JSON文件。结果复制完之后,输出的JSON文件根本不是有效的格式——每个分页返回的JSON对象都单独占了一行,相当于三个独立的JSON串拼在一起了!

举个实际的例子,如果API返回了3页数据,输出的JSON文件内容就是这样的:

{items:[content of page 1]}
{items:[content of page 2]}
{items:[content of page 3]}

先给大家看下API返回的单页JSON结构:

{
  "items": [
    {"property1": "value1", "property2": "value2"},
    // 更多数据项...
  ]
}

我之前试过用循环活动,每拿到一页数据就写一个单独的JSON文件,但这样一来IO操作实在太多了,感觉会额外增加不少成本,不太想这么干。

我现在的需求是:能不能在单个复制活动调用里,把输出的JSON文件转换成有效的格式,方便后续其他服务直接消费?比如我期望的结构是这样的:

{
  "items": [
    {"items": [content of page 1]},
    {"items": [content of page 2]},
    {"items": [content of page 3]}
  ]
}

(补充:我已经上传了当前复制活动的配置截图)

备注:内容来源于stack exchange,提问作者mjimenez

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.04.23 09:22:41