Azure Data Factory复制管道从SQL Server同步到Blob Storage性能异常咨询

排查方向 #

• 查询执行计划与统计信息校验
  对比两个视图对应查询的实际执行计划，确认小数据量视图关联的底层表是否存在统计信息过时的问题，导致SQL优化器生成了低效执行计划（如不必要的全表扫描、错误的join方式选择）。同时排查是否存在参数嗅探问题，ADF动态分区传入的查询条件是否导致小表查询选择了不匹配的执行计划。
• 动态分区实际生效情况排查
  校验小数据量视图的分区切分结果，确认是否存在大量空分区或行数极少的分区：ADF并行复制的每个分区查询都有固定的连接建立、任务调度开销，若分区数据量过小，开销占比会远高于实际数据读取占比，直接拉低整体吞吐量。可查询SQL Server的执行日志，统计每个分区查询的返回行数与耗时占比。
• 视图计算逻辑性能对比
  在SQL Server侧单独执行两个视图的全量查询，排除ADF层面的影响，直接对比本地执行耗时。重点校验hashbyte函数的计算开销：检查小表对应的field1、field2是否存在大量超长字符串、特殊字符等情况，导致哈希计算的CPU开销远高于大表。
• 源库资源负载校验
  排查两个复制任务的执行时段对应的源SQL Server资源占用情况，确认小表复制时段是否存在其他高负载作业（如批量查询、备份、索引维护）占用CPU、IO资源，导致查询出现长时间等待。可重点查看对应时段的等待事件，是否存在PAGEIOLATCH、CXPACKET等高频等待。
• 索引匹配度检查
  确认两个视图关联的底层表索引配置是否一致，小表对应的表是否缺少适配动态分区查询的覆盖索引：如果分区键未包含在索引中，会导致每个分区查询都需要回表查询数据，而大表对应的表如果有匹配的覆盖索引，可直接通过索引返回全部所需数据，性能差距会非常明显。
• ADF集成运行时调度情况排查
  检查两个复制任务使用的集成运行时（IR）是否一致，小表任务执行时段是否存在IR资源被其他大量任务占用的情况，导致实际并行度未达到配置值。可查看ADF复制活动的监控详情，对比两个任务的实际并行度、源端读取等待时间的差异。

内容的提问来源于stack exchange，提问作者zillo