ClearML自托管集群网络中断后Pipeline状态异常问题咨询

1. 这种行为是否是ClearML的Bug？ #

不是Bug，这是ClearML Pipeline默认的故障防护逻辑。当头节点与计算节点失联时，头节点无法确认Pipeline中各个任务的实时状态，为了防止出现任务重复执行、状态混乱等问题，会将整个Pipeline标记为Forced stop (non-responsive)。而计算节点本身是离线执行任务的（只要任务已经开始执行），所以第二个任务会继续运行直至完成，待网络恢复后再同步日志到头节点。

2. 是否可以从第三个任务继续执行？有哪些替代方法？ #

默认的Continue选项确实会从头启动整个Pipeline，但可以通过以下几种方式实现从第三个任务继续执行：

• 手动触发后续任务：在ClearML UI中找到第三个任务的模板（或从原Pipeline的任务配置中导出），直接创建新任务并设置其依赖为第二个任务的成功状态，启动该任务即可衔接原进度。也可以通过ClearML SDK编写脚本，指定任务依赖后启动第三个任务。
• 调整Pipeline故障策略：通过ClearML的配置文件或SDK，将Pipeline的故障处理策略设置为continue_on_failure（或自定义逻辑），这样当头节点恢复后，Pipeline会自动检测已完成的任务，跳过它们并继续执行后续任务。注意需要确保任务依赖关系配置准确，避免状态判断错误。
• 手动修改任务依赖：在原Pipeline的任务列表中，找到第三个任务，手动将其依赖设置为第二个任务的完成状态，然后直接启动该任务即可。

另外，针对自托管环境，建议配置头节点的高可用架构（比如主备切换），减少头节点单点故障带来的影响，从根源上降低此类问题的发生概率。

内容的提问来源于stack exchange，提问作者Pawel Ilczyszyn