Spark为何同时需要Write Ahead Log与Checkpoint？相关技术问询

1. Spark为何同时需要Write Ahead Log与Checkpoint？ #

Spark的流处理和有状态计算场景中，WAL与Checkpoint是互补的故障恢复机制，核心作用是平衡恢复效率与运行时性能开销：

• Checkpoint提供全量状态的快照，是故障恢复的基础，但生成它需要暂停计算、序列化全量状态，开销极大，无法频繁执行；
• WAL记录每一次状态更新的增量操作，开销低、可实时写入，能填补两次Checkpoint之间的状态变化空白。
  两者结合既避免了频繁全量快照的性能损耗，又能在故障发生时快速恢复到最新状态。

2. 为何不能仅使用Checkpoint？额外使用Write Ahead Log有哪些优势？ #

仅依赖Checkpoint会存在明显的局限性：

• 数据丢失风险高：两次Checkpoint之间的所有状态更新都会在故障后丢失，若Checkpoint间隔设置过长，丢失的数据量会非常大；
• 恢复速度慢：故障后只能恢复到上一次Checkpoint的状态，需要重新计算丢失的所有数据，耗时极长；
• 性能开销矛盾：若缩短Checkpoint间隔来降低丢失风险，频繁的全量快照会严重拖慢作业运行速度。

额外使用WAL的核心优势：

• 保障数据一致性：实现Exactly-Once语义，所有状态更新都会先写入WAL再应用到状态，故障时可重放WAL恢复到最新状态；
• 提升恢复效率：恢复时只需加载最近一次Checkpoint的全量状态，再重放之后的WAL增量日志，无需重新计算大量历史数据；
• 降低运行时损耗：WAL是增量写入，序列化和IO开销远低于全量Checkpoint，可高频写入而不影响作业性能。

3. Write Ahead Log与Checkpoint中存储的数据有何差异？ #

两者存储的数据在粒度、内容、用途上有本质区别：

• Write Ahead Log：
  • 存储细粒度的增量操作日志，比如每条状态更新的具体操作（如键值对的新增、修改）；
  • 数据是顺序写入的日志流，格式紧凑但无法直接使用，需要重放才能恢复对应状态；
  • 仅记录两次Checkpoint之间的状态变化，数据量相对较小。
• Checkpoint：
  • 存储某一时刻的全量状态快照，比如RDD的分区数据、有状态算子的完整状态集合；
  • 数据是结构化的、可直接加载的状态数据，无需重放即可恢复到该时刻的状态；
  • 包含当前作业的所有状态信息，数据量通常远大于WAL。

内容的提问来源于stack exchange，提问作者Pavel Orekhov