Azure Data Factory pipeline设置concurrency为1仍出现并发运行问题

核心原因 #

• 未明确concurrency参数的生效范围：你设置的管道级concurrency = 1仅限制同一个触发器触发的同一管道实例数，如果重叠运行的实例来自不同触发器、手动触发、SDK/API直接调用，该限制不会生效，不同触发源的实例仍然可以并行运行。
• 触发器级并发配置优先级更高：如果你使用翻滚窗口触发器（Tumbling Window Trigger）、调度触发器等类型的触发器，这类触发器自带独立的并发控制参数，优先级高于管道级配置，如果触发器侧并发设置大于1，会直接绕过管道的并发限制。
• 配置修改存在同步延迟：调整concurrency参数后，ADF服务后台需要1-2分钟同步配置，这段时间内触发的管道仍会沿用旧的并发规则。
• 误判连续运行为并发：如果管道同时配置了大于1的队列长度，新的触发请求不会被直接拒绝，而是进入队列等待，当前序实例结束后会立刻启动下一个，间隔极短的连续运行容易被误判为并发重叠。

操作存在的问题 #

• 仅依赖管道级并发配置实现全场景的实例限制，没有结合触发源的配置做联动调整。
• 没有验证配置生效状态就上线调度，可能存在配置未同步就触发运行的情况。
• 未排查重叠实例的触发来源，无法确定是否是跨触发源的运行导致的重叠。

修复建议 #

• 先在管道运行记录中核对每个重叠实例的触发方式，确认是否存在多触发源调用的情况。
• 如果使用独立触发器，将触发器侧的并发参数也调整为1，和管道级配置保持一致。
• 若需要限制所有触发源的管道并发，额外在管道入口添加全局变量标记逻辑：用Azure变量活动存储管道运行状态，新实例启动时先判断标记是否存在，存在则自动终止运行，管道运行结束后清除标记。

内容的提问来源于stack exchange，提问作者Matthias