使用消息提交Kafka偏移量时，提交顺序是否重要？

偏移量提交的三种方式 #

Confluent-Kafka Python客户端支持以下三种提交主题偏移量的方式：

• 基于消息提交：直接用消息自带的偏移量值完成提交
• 基于TopicPartition结构提交：通过包含偏移量信息的TopicPartition对象来指定提交的偏移量
• 无参数commit()方法提交：自动使用消费者当前跟踪的偏移量提交，这种方式出错概率很低，因为代理或消费者自身会自动跟踪偏移量，属于API的自动化处理环节

提交顺序的关键问题 #

在实际场景中，比如消费多条消息但只处理了部分时，我们通常只希望提交已经处理完成的消息偏移量——只有当所有偏移量更小的消息都处理完后，提交操作才有意义，不然会导致未处理的消息被重复消费。

提交顺序到底重要吗？ #

当然重要，而且提交更小的偏移量会直接覆盖之前的记录。

如果先提交偏移量101，之后再提交偏移量100，代理会把存储的偏移量回退到100。等下次消费者重启或者分区重新分配时，会从偏移量100的位置开始消费，这就意味着偏移量100到101之间的消息会被重复处理。

Kafka代理不会忽略提交更小偏移量的请求，它只会记录最后一次提交的偏移量值，不管这个值比之前的大还是小。所以除非你是有意要回退消费位置，否则绝对不要提交比当前已提交值更小的偏移量。

内容的提问来源于stack exchange，提问作者user2138149