单个作业History tab显示Snapshot，Spark详情显示可增量运行？是否矛盾？

是否必然矛盾？ #

这两种状态并不必然矛盾，因为它们指向任务的不同维度：

• History标签页的「Snapshot」描述的是本次任务的实际执行模式——意味着这次运行是全量快照式执行，没有复用之前的增量计算结果。
• Spark详情页的「Job can run incrementally」描述的是任务本身的配置能力——说明该任务从设计和配置上支持增量运行，只是本次执行没有触发增量逻辑。

哪种状态正确？ #

两者都是正确的。History标签页反映的是任务本次运行的真实行为，Spark详情页反映的是任务具备的潜在运行能力，二者描述的不是同一层面的信息。

如何让显示保持一致？ #

要让History标签页和Spark详情页的状态匹配（即任务实际执行增量模式，同时History标签页显示对应增量状态），可以从以下几点排查：

• 确认任务不是首次运行：首次执行的任务通常会默认走全量Snapshot来初始化基础数据。
• 检查数据源变更类型：确保数据源只有增量更新（比如新增/修改数据，而非全量覆盖），全量覆盖类的变更会触发任务全量执行。
• 验证增量配置有效性：检查Spark任务的增量逻辑配置，比如是否正确设置了分区过滤、水印时间、增量读取的起始偏移量等核心参数。
• 避免强制全量触发：不要手动触发全量Snapshot运行，确保任务按照预设的增量规则自动触发执行。

内容的提问来源于stack exchange，提问作者Drew Holinski