如何配置ADF流水线实现隔离运行，避免并发触发导致旧任务失败？

• 触发流程：Microsoft Forms提交文件 → Logic App触发Azure Data Factory（ADF）流水线
• 流水线步骤：基于Docker镜像创建Databricks集群 → 执行耗时数分钟的Databricks Notebook计算
• 异常现象：当已有流水线运行时，新表单提交触发的新流水线会导致之前的运行失败，报错：

Operation on target "notebook" failed: Cluster 0202-171614-fxvtfurn does not exist

• 关键细节：最后一次运行使用独立的集群ID（如0202-171917-e616dsng），但旧运行的集群被意外终止；已尝试将ADF流水线并发数设为5、首个连接器并发数设为15，问题未解决

• 确保集群名称唯一性：
  每个ADF流水线实例创建的Databricks集群必须有唯一名称，避免因同名导致新集群创建时自动终止旧集群。可以在集群名称中嵌入流水线运行ID作为唯一标识，例如在ADF的集群创建活动中，将名称设置为表达式：concat('form-processing-cluster-', pipeline().RunId)。Databricks不允许同名集群同时存在，同名创建请求会直接终止旧集群并创建新实例，这是旧运行报错的核心原因之一。

• 校验集群ID的传递逻辑：
  检查ADF中集群创建活动的输出是否正确传递给后续的Notebook活动。如果使用了全局变量或静态值存储集群ID，新流水线运行会覆盖该变量，导致旧运行的Notebook错误地尝试连接新集群（而旧集群已被终止）。正确的做法是通过活动输出参数传递，例如从集群创建活动的outputs['Create Cluster'].properties.clusterId获取当前实例的集群ID，直接传给Notebook活动。

• 调整Databricks集群生命周期配置：
  确认集群的自动终止空闲时长设置大于Notebook的预期运行时间，避免集群在计算过程中因误判为空闲而被终止。另外，建议使用Databricks的**作业集群（Job Cluster）**而非交互式集群，作业集群专为一次性任务设计，会自动处理集群的创建与销毁，且每个作业实例使用独立集群，不会互相干扰。

• 改用Databricks Job活动替代手动集群管理：
  在ADF中直接使用Databricks Job活动提交Notebook任务，而非手动创建集群。Databricks Jobs会自动为每个任务分配独立的一次性集群，无需手动管理集群生命周期，从根源避免集群冲突问题。只需在活动中指定Notebook路径、参数及集群配置即可。

• 验证Logic App触发并发控制：
  检查Logic App的触发器并发设置，确保不会短时间内触发过多流水线实例，导致Databricks资源池过载而主动终止旧集群。可在Logic App触发器的设置中调整“并行度”参数，限制同时运行的实例数量。

内容的提问来源于stack exchange，提问作者Dennis Anderson