Microsoft Fabric管道Copy Activity重复写入数据问题及方案咨询

一、排查并解决重复写入问题 #

针对API返回1条数据但Lakehouse表被写入864次的问题，可从以下方向排查处理：

1. 强制禁用自动分页 #

即使设置了RFC5988=True和MaxRequestNumber=1，部分API的响应仍可能携带分页相关标识（如Link请求头、响应体中的next/total字段），导致Copy Data Activity误判存在多页数据：

• 进入Copy Data Activity的源配置，将PaginationRules设为{}（空对象），彻底关闭自动分页逻辑。
• 或自定义停止条件：添加StopCondition规则，值设为@equals(length(activity('Copy Data').output.value), 1)，当返回数据条数为1时立即终止分页请求。

2. 调整写入模式与重试设置 #

若采用Append写入模式且开启了重试，可能导致同一条数据被多次写入：

• 将写入模式改为Upsert，并指定表的主键字段（如item_id），确保重复数据仅更新而非追加。
• 在Copy Activity的设置面板，将重试次数设为0，避免因请求重试触发重复写入。

3. 校验API响应结构 #

确认API返回的是单个对象（如{...}）而非嵌套数组（如[{...}]），若结构不符，需调整数据集配置：

• 源数据集选择JSON格式，将Collection reference设为$（指向根节点），确保Copy Activity将整个响应识别为单条数据。

二、替代方案：Web Activity + Copy Data Activity写入Lakehouse #

若Copy Data Activity的分页问题难以快速解决，可改用Web Activity获取数据后再写入，步骤如下：

1. 配置Web Activity获取数据

   • 请求方法设为GET，填入目标API地址：https://mysite.example.com/services/rest/connect/v1.4/items/1
   • 在Headers中添加Authentication和OSvC-CREST-Application-Context头信息，保证请求合法性。

2. 处理响应格式（可选）
   若API返回单个对象，需将其包装为数组（便于Copy Activity识别为单条数据）：

   • 添加Set Variable Activity，变量类型选Array，值设为@createArray(activity('Web Activity').output)

3. 用Copy Data Activity写入Lakehouse

   • 源数据集选择Inline，数据源设为上述变量（或直接引用activity('Web Activity').output，若响应已是数组结构）
   • 目标数据集选择Lakehouse表，配置写入模式（推荐Upsert保证幂等性），完成字段映射后执行管道。

另一种替代：Script Activity直接插入数据 #

若熟悉Spark SQL，可省略Copy Data Activity，直接用Script Activity将Web Activity的输出写入表：

INSERT INTO your_table_name
SELECT * FROM json_str('@{activity('Web Activity').output}')

注意需确保JSON格式与表结构匹配，嵌套字段需提前解析。

内容的提问来源于stack exchange，提问作者Deeriss