Azure Data Factory数据流中如何使用Offset函数实现分页？

问题背景 #

已掌握ADF复制数据活动中offset函数的用法，但在数据流中尝试通过相对URL添加offset={offset}实现分页时，因{}为非法字符导致作业失败，报错信息翻译如下：

数据源'srcIICSrest'错误：查询字符串中索引42处存在非法字符：/saas//api/v2/activity/activityLog?offset={offset}

解决方案 #

1. 参数化绑定偏移量

数据流中不能直接用{offset}这种语法，需通过动态表达式拼接参数：

• 第一步：在数据流的参数面板中创建整数类型参数，例如命名为pageOffset，默认值设为0。
• 第二步：在REST数据源的相对URL配置中，使用动态内容表达式拼接偏移参数：

  @concat('/saas//api/v2/activity/activityLog?offset=', $pageOffset)
  

  这样就能合法传递偏移量参数。

2. 配置自动分页规则

如果需要自动遍历多页数据，需配合数据源的分页设置：

• 在REST数据源的分页选项卡中，选择「偏移量分页」模式。
• 将分页配置中的「偏移量参数」关联到pageOffset，同时设置每页条数（可额外创建pageSize参数）。
• 设置偏移量更新规则，例如每次分页后执行$pageOffset + $pageSize，直到API返回空数据集时停止分页。

内容的提问来源于stack exchange，提问作者Minh Vu