为什么__consumer_offsets主题的Tombstone标记消息从未被删除？

• 未满足日志清理触发条件
  Kafka日志清理器不会实时扫描清理数据，默认仅当分区日志的脏数据占比（未清理的消息占总日志的比例）达到log.cleaner.min.cleanable.ratio默认值50%时，才会启动清理任务。两次清理任务的间隔由log.cleaner.backoff.ms控制，默认15秒，配置修改后不会立刻触发清理。
• Tombstone所在的Segment处于活跃状态
  正在写入的活跃Segment（Active Segment）不会被日志清理器处理，只有当Segment写满（默认1G）或达到滚动时间log.roll.ms（默认7天）被关闭后，才会进入可清理队列。如果你的Tombstone都在活跃Segment里，就会一直保留到Segment关闭。
• 参数生效范围配置错误
  log.cleaner.delete.retention.ms是broker全局默认参数，若__consumer_offsets主题自身通过主题级配置覆盖了delete.retention.ms，全局参数不会生效。你可以通过以下命令检查主题级配置：

  bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name __consumer_offsets --describe
  

  若返回结果中存在delete.retention.ms的自定义值，以主题级配置为准。
• 清理延迟参数限制
  log.cleaner.min.compaction.lag.ms参数控制消息写入后最小的不可清理时间，避免刚写入的消息被立刻清理，若该参数设置值较大，Tombstone需要等待该时长后才能被清理。
• 日志清理器未启用
  若broker参数log.cleaner.enabled设为false，日志清理功能完全关闭，Tombstone自然不会被删除。

如果需要立即验证清理逻辑是否正常，可以临时将__consumer_offsets的log.roll.ms调小到数分钟，等待活跃Segment关闭后，再手动调低log.cleaner.min.cleanable.ratio触发清理，确认Tombstone是否会被正常删除。

内容的提问来源于stack exchange，提问作者xRobot