Structured Streaming中startingOffsets与Checkpoint协同机制疑问

问题1：文档标注的Streaming类型是否指代连续流式查询？ #

是。Spark 2.2官方Kafka集成文档中标注的Streaming类型，指的就是所有长期运行的Structured Streaming流式查询，既包含默认的微批处理模式查询，也包含后续版本推出的连续处理模式流式查询。

问题2：文档标注的Batch类型是否对应使用forEachBatch或触发器的查询？该类型是否不允许将startingOffsets设为latest？ #

• 这里的Batch类型和forEachBatch、触发器没有关系，特指使用Structured Streaming Kafka数据源做一次性批量读取的场景，也就是你使用spark.read.format("kafka")静态加载Kafka数据的场景，而不是用spark.readStream启动的流式查询。
• forEachBatch是流式查询中用于处理每批计算结果的算子，带自定义触发器的查询本质也还是流式查询，二者都属于Streaming类型，不属于这里的Batch类型。
• 只有Batch类型的查询不允许将startingOffsets设为latest：因为批量查询需要明确的固定偏移范围作为读取边界，latest是动态的当前最新偏移，无法确定读取的终止位置。所有流式查询（包括带forEachBatch、自定义触发器的场景）都可以正常配置startingOffsets为latest。

问题3：startingOffsets与checkpoints的协同逻辑是怎样的？作业崩溃重启且startingOffsets配置为latest时的偏移读取规则 #

核心优先级规则：checkpoint中存储的偏移记录 > 配置的startingOffsets参数

• 作业首次启动且checkpoint目录为空无历史记录时，Spark才会读取startingOffsets的配置，按指定的偏移规则开始消费。
• 作业后续任何形式的重启（崩溃重启、主动停服重启），只要checkpoint目录完整有效，Spark会直接读取checkpoint中记录的上次消费完成的偏移，从该位置继续消费，完全忽略startingOffsets的配置，无论该参数配置的是latest、earliest还是自定义固定偏移。
• 偏移校验逻辑：Spark从checkpoint拿到起始偏移后，会和Kafka集群对应分区的当前最小有效偏移做对比：如果checkpoint记录的偏移早于Kafka的最小有效偏移（对应消息已被Kafka清理删除），会按照failOnDataLoss参数的配置决定是直接报错终止，还是自动跳到Kafka当前最小偏移继续消费，不会主动读取Kafka的最新偏移覆盖checkpoint记录。

内容的提问来源于stack exchange，提问作者optimal substructure