Kafka offsets.retention.minutes在运行消费者场景下的生效规则咨询

官方对offsets.retention.minutes的定义 #

当消费者组丢失所有消费者（即组内为空）时，其偏移量会在该保留周期结束后被丢弃。对于采用手动分区分配的独立消费者而言，偏移量的过期时间为最后一次提交时间加上该保留周期。

现有场景前提：offsets.retention.minutes配置为1天，某运行中的消费者连续2天未提交偏移量，以下是两个问题的解答：

1. 消费者组偏移量是否会被丢弃？重启是否触发auto.offset.reset规则？

分两种使用场景判断：

• 常规消费者组（自动分区分配模式）：只要消费者还在正常运行，所属消费者组就不属于空组，完全不满足偏移量丢弃的触发条件，所以偏移量不会被删除。消费者重启后会直接读取之前保存的偏移量继续消费，不会触发auto.offset.reset的兜底规则。
• 手动分区分配的独立消费者：这类消费者的偏移量过期规则和消费者组状态无关，从最后一次提交偏移量的时间开始算，超过1天保留期就会被清理。你已经连续2天没提交偏移量，偏移量已经被删除，重启后会按照auto.offset.reset的配置来读取起始消费位置。

2. offsets.retention.minutes是否仅在所有消费者离线时生效？

这个说法不成立，该配置有两类完全独立的生效逻辑：

• 常规消费者组模式下，确实需要组内所有消费者都离线、组变为空组之后，才会开始计算偏移量的保留周期，到期后删除偏移量。
• 手动分区分配的独立消费者模式下，该配置的生效和消费者是否在线没有任何关系，只要最后一次提交偏移量的时间加上保留周期到期，就会直接清理对应的偏移量，不需要等待消费者离线。

内容的提问来源于stack exchange，提问作者Hayi