为何Azure Data Factory中的Pipeline会永久卡在queued状态？

1. 核心故障定位方向 #

• 校验过滤器修改是否引入资源超额问题：检查你调整的过滤条件是否存在未索引字段引用、无效过滤规则（如1=1、全字段模糊匹配）等会触发全量数据扫描的逻辑，这类变更会导致数据流需要的计算资源远高于原有配置，IR无法分配对应资源就会长期停留在队列状态
• 检查集成运行时（IR）运行状态：确认故障数据流绑定的IR资源是否正常，Azure IR需检查计算规格、并发任务配额是否被占满；自托管IR需检查节点的CPU、内存、磁盘使用率，是否有其他任务占满了运行槽位
• 排查目标SQL DB侧阻塞点：确认SQL DB的链接服务权限、IP白名单是否正常，SQL DB本身的DTU/vCore资源是否被其他业务占满，目标写入表是否存在长期未释放的锁导致写入操作被阻塞

2. 快速验证步骤 #

• 单独调试运行该故障数据流，跳过pipeline其他节点，查看调试日志是否有未公开的隐性报错
• 优先回滚你修改的过滤器逻辑，重新运行pipeline验证是否恢复正常，若回滚后正常则可直接定位为过滤器逻辑问题
• 临时将该数据流的IR计算规格调大一级，测试是否能跳出队列状态正常执行

3. 修复方案 #

• 过滤器逻辑问题：给过滤条件涉及的源表字段添加索引，拆分复杂过滤逻辑为多步执行，大数据量场景下添加分区过滤规则减少单次扫描的数据量
• IR资源不足问题：调整IR的并发任务数限制，扩容IR计算规格，自托管IR可新增节点做负载均衡
• SQL DB侧问题：开启数据流批量写入配置，调整单次提交行数，避开业务高峰执行写入任务，必要时扩容SQL DB资源配额

内容的提问来源于stack exchange，提问作者Xkid