Spark foreachBatch回调是否保证独占执行？非并发批量需求问询

核心结论 #

foreachBatch 的回调函数会被官方保证串行独占执行——当上一批次的回调未完成时，绝对不会启动下一批次的处理，这个行为并非内部实现细节，而是Structured Streaming的核心设计约束之一。

关键依据 #

• 无论使用 ProcessingTime（比如你设置的1分钟间隔）还是其他触发器，Structured Streaming流作业默认以单批次串行处理模式运行。只有显式配置 spark.sql.streaming.concurrentBatch=true 时，才会开启多批次并发。
• 官方虽未用“独占执行”直接表述，但从容错设计逻辑看：Structured Streaming依赖批次状态一致性，必须等上一批次处理（含Sink输出）完全完成、状态更新落盘后，才会启动下一批次，否则会引发状态不一致、数据重复或丢失问题。这种串行处理是保证Exactly-Once语义的基础，属于稳定的官方特性。
• 对比DStreams的 foreachRDD：foreachBatch 继承了前者串行处理输出的设计原则，该行为是官方明确维护的特性，而非临时实现细节，版本升级不会轻易变更。

实操验证与注意事项 #

• 你可以做个简单验证：在 foreachBatch 回调中加入长时间阻塞操作（比如 Thread.sleep(70000)，超过1分钟触发器间隔），查看作业日志就会发现，下一批次的启动日志只会在当前批次完成后出现。
• 若要开启并发处理，需显式设置 spark.sql.streaming.concurrentBatch=true，同时调整 spark.sql.streaming.numConcurrentBatches 配置并发数，但这会打破你需要的非并发批量依赖，所以当前场景无需修改该参数。

内容的提问来源于stack exchange，提问作者Timurib