SAP ARIBA REST API增量与全量加载问题的技术咨询

我们通过SAP ARIBA REST API为客户生成每日报表，核心调用端点为/vendors/{vendorId}/workspace/questionnaires。目前有两种数据加载方案，但均存在问题：

• 增量加载：仅过滤获取最后修改的条目，但无法感知已删除的条目
• 全量加载：定期完整拉取数据，但API存在请求速率限制（秒/分/时/日级），而我们需要处理60000-70000个vendorId，远超限制

解决增量加载无法感知删除条目的问题 #

• 维护本地基准列表+批量校验：
  每次增量同步前，调用ARIBA的供应商列表端点（如/vendors）批量获取当前所有有效vendorId，与本地存储的vendorId列表做差集，差集内的即为已删除的供应商，同步删除本地对应问卷数据。如果API支持过滤参数，还可以缩小每次获取的vendorId范围，降低请求压力。
• 配置事件通知Webhook：
  在ARIBA后台配置Webhook，订阅供应商问卷的删除事件。当有问卷被删除时，ARIBA会主动推送包含相关信息的通知到你的服务端，实时感知删除操作，无需轮询。
• 定期分段全量校验：
  每周或每两周按vendorId分段执行小规模全量拉取，对比本地数据与API返回结果，清理本地已被删除的条目。

解决全量加载速率限制的问题 #

• 请求分片+并发控制：
  将60000-70000个vendorId拆分为多个批次，严格按照API的速率限制控制并发请求数（比如限制每分钟发送100次请求）。实现请求队列，对失败的请求设置重试机制，避免触发API封禁。
• 查找批量查询端点：
  检查ARIBA API文档，确认是否存在支持批量传入多个vendorId的问卷查询端点（如/vendors/workspace/questionnaires，允许通过vendorIds参数传入多个ID），用单请求替代多请求，大幅减少请求次数。
• 申请提升速率限制：
  联系SAP ARIBA客户支持，说明业务场景（每日报表、大量供应商数据处理需求），申请提升API的请求速率配额，这是最直接的解决方式。
• 增量+定期全量结合：
  日常使用增量加载处理新增/修改的条目，每周分批次执行一次全量加载，平衡数据时效性与API请求压力。

内容的提问来源于stack exchange，提问作者Codo