Azure Data Factory 数据流各步骤数据预览超时问题咨询

1 优先排查临时突发影响因素 #

• 检查数据源侧运行状态：针对700万条记录的lookup关联表，优先确认对应数据库当前是否存在锁表、高并发查询、CPU/内存资源占用过载的情况，此前运行正常突然出现超时，大概率是数据源侧性能波动导致，可查看数据源的慢查询日志、活跃会话列表确认是否有异常任务占用资源。
• 检查Integration Runtime（IR）运行状态：如果使用自托管IR，查看IR所在服务器的CPU、内存、网络带宽占用，是否存在资源耗尽的情况；如果使用Azure托管IR，可切换其他可用区的IR尝试预览。
• 进一步缩小Debug采样范围：不要仅调整全局行限制参数，可在lookup的源转换中直接添加临时过滤逻辑，比如使用SELECT TOP 100 * FROM 关联表的自定义查询替代全表读取，进一步降低预览需要加载的数据量。

2 数据流针对性优化配置 #

• 调整Debug运行时资源配置：在Debug设置中，将数据流的核心计数调整为4核以上，内存大小提升为默认配置的2倍，减少数据处理的等待时间。
• 开启lookup缓存配置：将大表lookup的匹配模式设置为缓存查找，ADF会将关联表的采样数据预加载到内存中，避免每次预览都重复查询数据源。
• 拆分预览链路：暂时断开lookup和后续派生列的连接，先单独预览lookup的输出，确认正常后再单独预览派生列步骤，避免一次性加载全链路数据导致超时。

3 NULL值问题快速排查方案（无需等待全量预览） #

• 在派生列转换中添加临时校验逻辑：对SINK表中定义为NOT NULL的字段，添加临时转换规则isNull(对应派生列) ? '异常标记值' : 对应派生列，运行Pipeline后查看目标表中标记为异常值的记录，即可反向定位派生列的逻辑错误。
• 可手动抽取100条源数据，在本地模拟派生列的计算逻辑，快速定位NULL值产生的原因，不需要等待ADF预览返回结果。

4 长期性能优化建议 #

• 为lookup关联大表的关联字段添加索引，降低关联查询的耗时。
• 定期清理数据流中无用的临时列、冗余转换逻辑，减少运行时的计算开销。
• 对于超过1000万记录的大表关联，建议提前在数据源侧做预聚合处理，再接入ADF数据流进行后续转换。

内容的提问来源于stack exchange，提问作者Neha