Azure Synapse/Data Factory复制活动中REST分页输出JSON文件格式无效问题求助
Azure Synapse/Data Factory复制活动中REST分页输出JSON文件格式无效问题求助
各位大佬,我现在碰到个麻烦事,想请教下解决方案:我在Azure Synapse(或者Data Factory)里用复制活动,从一个带分页的REST API拉取数据,数据源是REST服务,接收器配置的是Azure Data Lake Gen2的JSON文件。结果复制完之后,输出的JSON文件根本不是有效的格式——每个分页返回的JSON对象都单独占了一行,相当于三个独立的JSON串拼在一起了!
举个实际的例子,如果API返回了3页数据,输出的JSON文件内容就是这样的:
{items:[content of page 1]}
{items:[content of page 2]}
{items:[content of page 3]}
先给大家看下API返回的单页JSON结构:
{ "items": [ {"property1": "value1", "property2": "value2"}, // 更多数据项... ] }
我之前试过用循环活动,每拿到一页数据就写一个单独的JSON文件,但这样一来IO操作实在太多了,感觉会额外增加不少成本,不太想这么干。
我现在的需求是:能不能在单个复制活动调用里,把输出的JSON文件转换成有效的格式,方便后续其他服务直接消费?比如我期望的结构是这样的:
{ "items": [ {"items": [content of page 1]}, {"items": [content of page 2]}, {"items": [content of page 3]} ] }
(补充:我已经上传了当前复制活动的配置截图)
备注:内容来源于stack exchange,提问作者mjimenez
相关产品推荐
相关产品推荐

