ADF管道处理收款记录时部分记录无报错丢失的排查求助

针对批量处理600-700行收款收据时偶尔丢失30-40条记录、无报错但单条处理正常的问题，可从以下方向排查：

1. 数据共性排查 #

• 提取所有丢失记录，对比成功记录的字段差异：重点检查是否含特殊字符（不可见控制符、换行符）、字段长度超限、空值/异常值（日期格式不统一、金额精度异常），这类数据在批量解析时可能被ADF静默忽略，但单条处理时解析上下文不同可正常通过。
• 验证源文件编码：如果是CSV/文本文件，批量读取时编码设置（如UTF-8 vs GBK）可能导致含特殊字符的记录解析失败，单条读取时编码适配正常。

2. ADF管道配置检查 #

• 调整并行度：若使用了Copy Activity或Lookup的并行处理，过高并行度可能触发Oracle端资源限制（会话数、进程数上限），导致部分请求被静默拒绝。尝试将并行度调低至1或2，重复测试是否仍丢记录。
• 检查错误处理设置：查看Copy Activity的「错误处理」项，若开启「跳过错误行」，部分字段转换失败（如字符串转数字含非法字符）的记录会被直接跳过且无告警。建议临时改为「停止活动」，触发错误后即可定位问题记录。
• 增加记录数校验：在管道中插入Validate Activity或Aggregate Activity，分别统计源文件总行数、Oracle目标表新增行数，若两者不一致则触发告警，快速定位是读取还是写入阶段丢数据。

3. 日志与监控强化 #

• 开启Verbose级日志：将ADF管道运行日志级别调至「Verbose」，查看每个处理分片的输入输出细节，重点关注丢失记录对应的分片日志，是否存在隐性警告（如字段截断、数据类型兼容问题）。
• 检查Oracle端日志：查看Oracle的alert日志、会话日志，排查批量处理时是否存在会话异常终止、锁等待超时、资源抢占导致的隐性回滚，这类情况ADF可能无法捕获错误信号。
• 源数据预览验证：在调试模式下对完整源文件进行数据预览，确认ADF读取的记录数与实际文件行数一致，若预览时就少了，说明问题出在源读取阶段（如CSV分隔符嵌套导致行合并）。

4. 处理逻辑细节排查 #

• 检查过滤/分支逻辑：确认管道中是否存在Filter Activity或源查询过滤条件，批量处理时变量/参数传递是否异常，导致部分记录被误过滤；单条处理时变量值正确，因此可正常通过。
• 字段映射校验：逐一核对源与目标的字段映射，尤其是数据类型转换规则，批量处理时部分记录的转换失败可能被ADF静默忽略，单条处理时因数据量小未触发该问题。
• 事务机制检查：若使用了嵌套管道或事务控制，批量处理时部分子事务回滚但主事务提交成功，导致管道显示成功但部分记录未写入。

5. 复现与测试策略 #

• 重复运行相同源文件：观察每次丢失的记录是否固定，固定则说明记录本身有问题；随机则大概率是并发/资源竞争导致。
• 逐步扩容测试：从100行开始逐步增加记录数，定位触发丢记录的阈值，判断是否为数据量过大导致的资源或解析问题。
• 模拟生产负载：在测试环境模拟Oracle的业务负载（如同时运行其他查询），验证是否因资源不足导致批量处理丢记录。

内容的提问来源于stack exchange，提问作者karthikeyan radha