Kafka设置cleanup.policy=compact,delete为何旧消息未被删除？

核心原因拆解 #

你的问题出在compact,delete组合策略的执行逻辑、segment.ms的触发条件，以及活跃段的处理规则上，具体如下：

• 日志压缩优先于删除策略
  当cleanup.policy设为compact,delete时，Kafka会优先执行日志压缩逻辑，只有压缩完成后才会检查删除条件。如果主题内的消息都是未被后续消息覆盖的活跃key，压缩后这些消息会被完整保留，不会被标记为可删除。另外，日志压缩需要满足min.cleanable.dirty.ratio（默认0.5，即脏数据占比超过50%）才会触发，如果你的主题消息量小、脏数据比例没达标，压缩不会执行，旧段自然不会被处理。

• segment.ms的触发依赖新消息写入
  segment.ms的作用是：当活跃段的存在时间超过设定值时，强制触发日志滚动。但这个检查逻辑只有在有新消息写入时才会触发——如果你的主题长期没有新消息进入，Kafka不会主动去强制滚动活跃段。这就导致两年前的消息一直留在活跃段中，而delete策略只对非活跃段生效，自然不会删除这些旧消息。

• 非活跃段的删除条件需同时满足
  即使触发了日志滚动生成非活跃段，删除策略生效还需要两个条件：

  1. 段的最后修改时间（即段被关闭/滚动的时间）加上retention.ms小于当前时间；
  2. 段内的消息没有被压缩逻辑标记为需要保留。

解决方案 #

1. 手动触发日志滚动
   对主题的每个分区执行手动滚动命令，强制将活跃段转为非活跃段：

   kafka-run-class.sh kafka.admin.LogRoller --topic <你的主题名> --partition <分区号>
   

   或者生产一条测试消息（哪怕是空消息），触发Kafka的segment.ms检查逻辑。

2. 调整清理策略优先级
   如果不需要日志压缩功能，直接将cleanup.policy改为delete，这样Kafka会优先执行删除规则，无需等待压缩触发。

3. 优化压缩触发条件
   若需保留压缩策略，可降低min.cleanable.dirty.ratio的值（比如设为0.1），让压缩逻辑更容易触发，压缩后的非活跃段会自动检查是否满足retention.ms的删除条件。

4. 确保主题有定期写入
   配置定期写入少量测试消息，保证segment.ms的检查逻辑能被定期触发，避免活跃段长期无法滚动。

内容的提问来源于stack exchange，提问作者schrobe