Kafka保留配置咨询：多消费组消费后的数据删除规则

1. 能否在所有消费组都到达某偏移量时删除该偏移量之前的日志？ #

Kafka原生没有内置的“基于所有消费组最小已提交偏移量”自动清理日志的机制，默认的日志清理策略是基于时间或日志文件大小，或者针对单个消费组的位移（仅用于消费者位移过期，而非日志删除）。但可以通过手动脚本结合Kafka自带工具实现该需求：

• 步骤1：获取所有消费组的已提交偏移量
  使用kafka-consumer-groups.sh工具分别查询两个消费组的位移：

  # 查询CONSUMER1的已提交位移
  kafka-consumer-groups.sh --describe --group CONSUMER1 --bootstrap-server <你的broker地址>
  # 查询CONSUMER2的已提交位移
  kafka-consumer-groups.sh --describe --group CONSUMER2 --bootstrap-server <你的broker地址>
  

  从输出中提取CURRENT-OFFSET字段，取两个消费组的最小值（示例中为750）。

• 步骤2：手动标记日志为可删除
  创建一个JSON配置文件（比如delete_offset.json），内容如下：

  {
    "partitions": [
      {"topic": "TOPIC", "partition": 0, "offset": 750}
    ],
    "version": 1
  }
  

  然后执行kafka-delete-records.sh工具标记该偏移量之前的日志为可删除：

  kafka-delete-records.sh --bootstrap-server <你的broker地址> --offset-json-file delete_offset.json
  

  注意：该命令仅标记日志待删除，实际清理由Kafka Broker的后台清理线程完成，需确保主题的log.cleanup.policy配置为delete（默认值即为delete）。

2. 能否通过保留计划删除TOPIC中的750条数据？ #

Kafka的保留计划（log.retention.*系列配置）仅支持基于时间（如log.retention.hours）或总日志大小（如log.retention.bytes）触发清理，不支持直接按消息条数设置保留规则。

如果需要精确删除750条数据，建议使用上述手动删除的方式；如果可以接受近似清理，可估算750条消息对应的总大小或存储时间，临时调整主题的保留配置触发清理，但这种方式精度较低（因单条消息大小可能不一致）。

内容的提问来源于stack exchange，提问作者NativeJavaDeveloper