如何通过Azure Synapse pipeline导入Airtable全量记录而非仅前100条

Airtable REST API单页请求默认最多返回100条记录，全量数据需要通过响应中返回的offset游标循环发起后续请求拉取分页内容。Azure Synapse Analytics的REST集成连接器默认未开启自动分页配置，仅会拉取第一页返回结果，因此会出现仅导入100条记录的现象。

• 配置REST源自动分页规则
  打开对应Copy Activity的源设置面板，找到「分页规则」配置区块，新增如下规则：
  • 游标提取路径：填写$.offset，指定从接口返回的JSON响应体中提取下一页的游标值
  • 游标传参方式：选择「查询参数」，参数名填写offset，即后续分页请求会自动把提取到的游标值作为offset查询参数携带
  • 分页终止条件：填写$.offset == null，当响应体中不存在offset字段时，判定已拉取到最后一页，自动停止分页请求
• 优化单页请求大小
  在REST源的查询参数配置中，新增参数pageSize，值设为100（Airtable API支持的单页最大返回条数），可减少总请求次数，提升同步效率。
• 检查限制类参数配置
  检查请求参数和请求体配置，全量同步场景下不要配置maxRecords参数，该参数会强制限制接口返回的总记录数，会导致数据截断；同时确认授权头Authorization: Bearer <你的Airtable API密钥/个人访问令牌>配置正确，没有权限范围缺失。
• 运行校验
  启动管道调试运行，查看Copy Activity的执行监控日志，确认总请求数符合预期（总记录数除以100向上取整即为总请求次数），最终写入Synapse Sink的记录数和Airtable表内实际总记录数一致即配置生效。

注意：如果使用Airtable新版个人访问令牌（PAT）做鉴权，需要提前给令牌授予对应表的data.records:read权限，否则分页拉取过程中可能出现权限报错导致同步中断。

内容的提问来源于stack exchange，提问作者beaudet