使用Spark Structured Streaming的Kafka Sink时必须开启Checkpointing吗？

你遇到的这个问题很典型——在Spark Structured Streaming中，当你使用Append输出模式将数据写入Kafka这类持久化外部存储时，checkpointLocation是强制要求配置的。

核心原因： #

Structured Streaming的容错性与Exactly-Once语义完全依赖Checkpoint机制，它会存储两类关键信息：

• 每个微批次处理的Kafka偏移量：确保作业重启后能从上次中断的位置继续消费，避免数据重复或丢失；
• 聚合（或状态类操作）的中间状态：对于Append模式来说，Spark需要追踪哪些数据已经成功输出到Kafka，以此判断新批次中哪些数据可以安全追加，没有checkpoint就无法完成这个判断逻辑。

你代码里用的OutputMode.Append()，正是需要依赖状态追踪的输出模式，所以注释掉checkpoint配置后，Spark直接抛出AnalysisException是必然的结果。

快速修复方案： #

把你注释掉的checkpoint配置项恢复即可：

dataset.writeStream()
       .queryName(queryName)
       .outputMode(OutputMode.Append())
       .format("kafka")
       .option("kafka.bootstrap.servers", kafkaBootstrapServers)
       .option("topic", "topic")
       .trigger(Trigger.ProcessingTime("15 seconds"))
       .option("checkpointLocation", checkpointLocation) // 恢复这一行配置
       .start();

注意：生产环境中，checkpointLocation建议指向分布式文件系统（比如HDFS、S3）的路径，不要使用本地文件系统，否则集群部署时会出现节点间状态不一致的问题。

内容的提问来源于stack exchange，提问作者previouslyactualname