PySpark进度条中运行任务数为负数代表什么含义？

标准PySpark控制台进度条的渲染逻辑是客户端定期从Driver拉取任务状态快照后计算生成，[Stage X:==========> (A + B) / C]格式里的三个数值并非来自同一时间点的原子状态快照，本身就是近似统计值，出现负数B值的核心原因是状态计数更新时序不一致，常见触发场景有两类：

• 推测执行（Speculative Execution）触发的重复任务清理：开启推测执行后，Spark会为运行过慢的分区启动多个重复的备用任务，只要任意一个副本运行完成，对应分区就会被计入已完成数A，其余同分区的运行中副本会被直接标记为杀死并回收。如果进度条采样时，刚完成的分区已经被计入已完成数A，但被杀死的重复副本的计数还没同步到任务状态统计里，用来计算B值的公式已提交任务数 - 已完成任务数 - 已杀死/失败任务数就会算出负值。你遇到的样例里-6736的差值，基本就是未被及时计数的被杀死重复任务量。
• 任务失败/Executor失联触发的重调度：当某个Executor意外失联，上面运行的所有任务都会被标记为失败，之后重新提交到其他节点调度。如果重调度后新跑的任务率先完成被计入已完成数A，但失联节点上旧的失败任务的扣减计数还没同步到状态统计里，同样会导致B值计算为负。

• 这个负数不代表作业存在逻辑错误或者运行故障，纯粹是进度条非精确统计带来的显示误差，不会影响Stage最终执行结果的正确性。
• 出现该显示时，不要参考B值判断运行中任务规模，实际剩余待处理任务量可以直接用C - A粗略估算。
• 该异常显示通常只会持续1~3个进度条刷新周期（单周期默认1秒），等所有状态计数同步完成后，进度条数值就会恢复正常。

内容的提问来源于stack exchange，提问作者semola