Azure Data Factory Copy Activity导出ORC数据不完整问题求助

以下是针对你遇到的部分表导出数据量不符问题的排查步骤和解决方案：

一、排查源端读取限制 #

• 检查源数据集的查询配置：如果使用了自定义SQL语句，确认是否误加了TOP 10000这类限制行数的语法，或者筛选条件过于严格导致只读取了部分数据。若直接使用表名，确保"查询"字段为空，没有额外过滤逻辑。
• 检查分区读取设置：如果为Azure SQL源配置了分区读取（比如按列分区），确认分区范围覆盖了全表数据，避免因分区范围遗漏导致部分数据未被读取。

二、核对复制活动运行指标 #

• 登录ADF监控页面，查看对应复制活动的运行详情，重点对比读取行数和写入行数：
  • 若读取行数仅为1万，说明问题出在源端数据读取环节；
  • 若读取行数为200万但写入行数仅1万，问题则在写入Blob存储的环节。
• 查看运行日志中的跳过行数和失败行数统计，确认是否因数据错误导致大量行被跳过。

三、检查ORC文件的分片配置 #

• 确认Blob存储中的ORC文件是否为多个分片文件：ADF默认会根据并行度生成多个文件，你可能只查看了单个文件的行数。统计所有同批次导出的ORC文件总记录数，看是否与源表数据量匹配。
• 检查Sink端的maxRowsPerFile设置：如果该参数被设为10000，每个ORC文件最多仅包含1万条数据，这属于正常分片，合并所有文件即可得到完整数据。

四、排查数据兼容性与错误处理 #

• 检查源表的数据类型：ORC格式不支持Azure SQL中的部分特殊数据类型（如hierarchyid、geometry），若表中包含这类字段，可能导致数据写入失败或被跳过。查看运行日志中的错误信息，确认是否有数据类型相关报错。
• 调整错误处理策略：若开启了"跳过错误行"且阈值设置过高，可能掩盖了数据错误问题。暂时关闭跳过错误行，重新运行任务，查看是否触发明确的报错信息，定位具体问题。

五、源数据库权限与锁问题 #

• 确认ADF使用的身份（服务主体/托管标识）对目标表拥有全表读取权限，不存在行级权限限制导致只能读取部分数据。
• 避免源表锁影响：若导出期间源表有大量写入操作或长期事务锁，可能导致ADF无法读取全量数据。可尝试在低峰期重新运行任务，或在自定义SQL中添加SET TRANSACTION ISOLATION LEVEL SNAPSHOT;语句，利用快照隔离避免锁阻塞。

内容的提问来源于stack exchange，提问作者cloud_anny