Kafka日志清理策略相关疑问：delete策略、墓碑消息及配置参数问题

先纠正初始认知偏差：cleanup.policy=delete的默认规则确实是旧日志段达到log.retention.hours时间阈值或log.retention.bytes大小阈值时批量删除整个段，但该策略不会对单条消息做任何处理，也和delete.retention.ms没有任何关系。

问题1解答 #

• 该场景下完全可能存在多个相同key、不同value的消息：delete策略本身没有消息去重逻辑，所有生产到分区的消息都会按写入顺序留存，直到所在日志段触发删除阈值。
• 墓碑消息（value为null的消息）和普通消息适用完全相同的默认删除规则，不会被单独处理。

问题2解答 #

你的认知不正确：

• delete.retention.ms是cleanup.policy=compact（压缩清理策略）的专属配置，和delete策略没有任何关联。
• delete策略不会单独处理单条消息，既不会主动保留最新key的消息，也不会单独删除墓碑消息，所有删除操作都是以整个日志段为单位执行的。

问题3解答 #

delete.retention.ms仅在压缩策略下生效，对delete策略完全无效，你修改这个配置自然不会触发墓碑消息的删除。只有当墓碑消息所在的日志段达到log.retention.hours或log.retention.bytes的删除阈值时，才会随整个日志段一起被删除。

问题4解答 #

该需求完全可以实现，有两种常用方案：

• 临时清空所有历史消息：使用Kafka自带的配置工具执行命令 kafka-configs.sh --alter --topic <目标Topic名称> --bootstrap-server <Broker服务地址> --add-config retention.ms=1000，等待Broker完成旧段清理后，再将retention.ms改回原有配置即可，该操作不可逆，执行前请确认数据不需要保留。
• 永久自动清理所有消息：直接将目标Topic的retention.ms配置为最小值（通常为1000ms），后续新写入的消息达到保留时长后会自动被清理，仅适合临时测试场景使用。

问题5解答 #

二者仅在混合清理策略（cleanup.policy=delete,compact）下存在关联，单独使用任意一种清理策略时无任何关联：

• 单独使用delete策略：仅retention.ms生效，控制日志段的保留时长，delete.retention.ms完全不生效。
• 单独使用compact策略：仅delete.retention.ms生效，控制墓碑消息的最短保留时长，避免消费者未消费到墓碑就被压缩清理，retention.ms默认不生效。
• 混合清理策略下：首先按compact规则做消息去重，墓碑消息会保留至少delete.retention.ms时长，之后如果所在日志段达到retention.ms的时间阈值，会被delete策略随整个段批量删除。

内容的提问来源于stack exchange，提问作者Zvi Mints