Spark Structured Streaming从Kafka读取的故障恢复与检查点配置问题

故障重启后的读取偏移量位置 #

偏移量的起始位置分两种情况：

• 未配置检查点时：重启后会严格遵循你初始设置的latest偏移量规则，直接从故障发生时Kafka主题的最新偏移量开始读取，故障期间产生的未处理数据会丢失。
• 配置了检查点时：重启后会忽略初始的latest设置，直接从检查点记录的最后成功处理完成的偏移量继续读取，保证接续故障前的处理进度，不会丢失数据。

Write Stream指定检查点是否为合理恢复方案 #

这是完全合理且官方推荐的故障恢复方案，理由如下：

• 检查点是Spark Structured Streaming实现容错的核心机制，它会持久化存储应用的关键状态，包括已处理的Kafka偏移量、流处理的中间计算状态（如聚合、窗口任务的状态数据）等。
• 应用重启时，Spark会自动从检查点目录加载状态数据，恢复到故障前的处理节点，确保数据处理满足Exactly-Once语义（既不重复处理也不丢失）。
• 配置时只需在writeStream阶段通过.option("checkpointLocation", "/your/distributed/storage/path")指定路径，注意要使用HDFS、S3这类分布式存储，避免本地存储的单点故障风险。

内容的提问来源于stack exchange，提问作者swetha k