使用Azure Data Factory迁移ServiceNow数据至Azure SQL性能优化咨询

• 优化ServiceNow查询逻辑
  • 避免全表扫描：若非必须全量迁移，用sys_created_on或sys_updated_on做增量过滤，仅拉取所需数据；全量场景下，给查询过滤字段添加ServiceNow后台索引，提升源端查询速度。
  • 精简字段：不要用SELECT *，只指定业务必需的字段，减少数据传输量。
  • 调整分页参数：在ADF的ServiceNow数据集或复制活动中，增大分页大小（比如从默认100调至1000，需符合ServiceNow API的单页返回限制）。
• 调整ADF管道配置
  • 启用并行复制：在复制活动的「设置」中，设置并行度（建议8-16，需参考ServiceNow的API速率限制，避免触发限流），同时确保Azure SQL端能承受并行写入压力。
  • 切换自托管集成运行时：若当前使用托管运行时，换成自托管运行时部署在靠近ServiceNow或Azure SQL的区域，降低网络延迟。
  • 优化批次大小：针对Azure SQL目标端，增大写入批次；ServiceNow源端调整读取批次匹配API限制，减少请求次数。
• 优化Azure SQL写入性能
  • 临时禁用非主键索引和约束：迁移前禁用目标表的非主键索引、外键约束，完成后再重建，减少写入时的索引维护开销。
  • 确认批量写入模式：确保ADF复制活动使用批量插入而非逐行写入，默认配置通常为批量，若有修改需改回。
  • 检查Azure SQL资源：查看DTU/CPU使用率，若资源瓶颈导致写入慢，可临时升级服务层。

• ServiceNow批量导出+Blob中转
  调用ServiceNow的批量导出API（如GET /api/now/sp/export/table）将sc_req_item数据导出为CSV/JSON文件，上传到Azure Blob Storage，再通过ADF将Blob中的文件批量加载到Azure SQL。这种方式适合全量迁移，ServiceNow批量导出的效率远高于逐条API拉取。
• 自定义脚本迁移
  用Python或PowerShell编写脚本，直接调用ServiceNow REST API分页拉取数据，借助pyodbc（Python）或SqlServer模块（PowerShell）实现批量写入Azure SQL。可自定义并发请求数、批次大小，针对性规避ServiceNow的API限流，灵活性更高。
• Azure Logic Apps+ServiceNow连接器
  利用Logic Apps的并行处理能力，配置批量拉取ServiceNow数据的流程，再通过Azure SQL连接器写入数据。适合需要添加额外业务逻辑（如数据预处理）的场景，需注意控制并发数避免触发ServiceNow限流。

内容的提问来源于stack exchange，提问作者Jeff