Faust Streaming Consumer是否重试失败的偏移量提交？及相关消费影响咨询

问题场景 #

你遇到的错误日志：

[ERROR] OffsetCommit failed for group gaming-processor on partition TopicPartition(topic='my_topic', partition=3) with offset OffsetAndMetadata(offset=29426192, metadata=''): UnknownTopicOrPartitionError 

这个错误确实是Kafka Broker Leader Pod轮转、重平衡期间的常见预期错误，下面直接解答你的疑问：

1. 偏移量提交失败会重试吗？ #

• Faust默认不会针对这次失败的提交请求做即时重试，它会跳过这次失败，等下一个提交周期（由consumer_auto_commit_interval配置，默认5秒），尝试提交当前最新的消费偏移量，而不是之前那个提交失败的偏移量。
• 不过要注意：如果是网络抖动这类临时可恢复的错误，底层Kafka客户端可能会自动重试，但UnknownTopicOrPartitionError属于元数据不一致的错误，客户端不会重试——它会先去刷新Kafka元数据，等元数据同步后再进行后续操作。

2. 会不会重新读取已消费的旧消息？ #

• 会出现少量重复消费：因为失败的偏移量没提交到Kafka的__consumer_offsets主题里，等重平衡完成消费者重新加入组时，会从上次成功提交的偏移量位置开始消费，这就导致上次成功提交到这次失败提交之间的消息被重复读取。
• 要是你的消费逻辑做了幂等处理，这种重复就不会影响业务结果。

3. 会不会丢失未消费的消息？ #

• 不会丢消息：Faust是拉取模式消费，未消费的消息都存在Kafka分区里，重平衡完成后消费者会继续从正确的位置拉取。只有那种“处理消息前就提交偏移量”的极端情况才可能丢消息，但Faust默认是处理完消息再提交，你的场景是提交失败，所以完全不用担心丢消息。

额外提示 #

针对Broker轮转引发的元数据错误，Faust会自动刷新元数据，等集群状态稳定后，后续的偏移量提交就会恢复正常。你也可以调整consumer_metadata_max_age_ms配置（默认5分钟），缩短元数据刷新间隔，减少这类错误的持续时间。

内容的提问来源于stack exchange，提问作者Pedro Silva