Spark 3 Structured Streaming消费Kafka如何回退offset重新消费

核心机制先搞清楚 #

• Structured Streaming 对接 Kafka 数据源时，绝对不会依赖 Kafka 侧 __consumer_offsets 主题里存储的消费组位点决定下次消费位置。所有处理完成的位点信息，全部持久化在作业自己配置的checkpoint目录下，作业重启时永远优先读取checkpoint里的位点记录。
• 你之前配置的startingOffset=earliest参数，只对第一次启动、checkpoint目录完全为空的全新作业生效。只要checkpoint里存了位点记录，这个参数会被直接忽略。

你的场景下实现从800位点重消费的正确操作 #

现在你的场景是：Kafka主题最新生产offset是1000，checkpoint里存的已消费位点是900，想退回800重新消费，按以下步骤操作：

1. 先完全停掉当前运行的流作业，确认没有残留的作业进程在写入checkpoint目录，避免文件锁冲突或者位点被意外覆盖。
2. 打开checkpoint目录，定位到sources/0路径（Kafka作为第一个接入的数据源，索引值默认是0），删除这个目录下存储的已提交offset元数据文件。注意不要删掉整个checkpoint目录——这样操作既清掉了旧的位点记录，又保留了checkpoint里存储的作业运行状态（比如窗口聚合中间值、去重状态等），不会造成状态丢失。
3. 修改作业的起始位点配置，把原来的startingOffset=earliest替换为显式指定的位点JSON，对应你要回退的800位置，格式参考：

   startingOffsets = """{"你的Topic名称": {"0": 800, "1": 800, "2": 800}}"""
   

   这里需要把Topic下所有存在的分区都对应到800的位点，不要漏写分区。
4. 重新启动作业，作业就会从你指定的800位点开始消费。

你提到的Kafka消费组offset重置操作为什么没用 #

你执行的kafka-consumer-groups.sh重置offset的命令，对Structured Streaming作业完全不生效。

• 原因很简单：Structured Streaming 用你配置的消费组ID和Kafka建立连接时，根本不会把处理完成的offset提交到Kafka的__consumer_offsets主题，自然也不会去读这个位置存的位点值。你不管把Kafka消费组的offset改成多少，作业重启时根本不会扫描这个位置的记录，还是会按照checkpoint里存的900位点接着消费。
• 额外提醒：如果你图省事直接把整个checkpoint目录删掉，作业确实会当成全新任务启动，这时候才会认你配的startingOffset参数——但这种操作会把作业之前维护的所有状态全部清空，很容易导致数据重复计算、聚合结果错乱，非必要不要这么操作。

内容的提问来源于stack exchange，提问作者Eswaramoorthy P