如何通过ADF管道将Azure Kusto中90万条记录导入Dataverse

单次管道可加载的数据量限制 #

Dataverse对批量导入的单请求限制为最多1000条记录，同时受限于API调用配额：

• 每分钟最多1000个API请求
• 每日配额根据Dataverse容量计划不同（基础版默认10万请求，高级版更高）
  ADF复制活动若直接全量推送90万条记录，会因超出单请求限制或触发配额阈值导致失败。

实现90万条记录复制的解决方案 #

• 配置复制活动批量拆分：在ADF复制活动的目标端（Dataverse）设置batchSize为1000，让ADF自动将数据拆分为符合限制的批量请求，无需手动编写分页逻辑。
• 使用ForEach活动分批拉取：
  1. 先通过Lookup活动执行Kusto查询获取总记录数：YourTable | count
  2. 计算迭代次数（总记录数/1000，向上取整），生成包含0到迭代次数-1的数组
  3. 在ForEach活动中循环执行复制活动，每次传递偏移量参数到Kusto查询：

     YourTable 
     | order by YourUniqueKeyColumn 
     | offset @{item()}*1000 
     | limit 1000
     

     注意必须使用唯一键列排序，避免重复或遗漏记录。
• 优化Kusto查询性能：给查询添加合适的过滤条件（where子句），利用Kusto的索引加速数据拉取；若表数据频繁更新，可使用物化视图提前预处理数据，减少每次查询的计算开销。
• 检查并调整Dataverse配额：在Dataverse环境的容量管理中查看当前API配额使用情况，若配额不足，可升级容量计划或联系管理员申请临时配额提升。
• 配置重试机制：在复制活动的错误处理中设置重试策略（如重试3次，间隔5分钟），应对临时网络波动或Dataverse服务不稳定的情况。

内容的提问来源于stack exchange，提问作者user21510438