AWS MSK Kafka配置14天retention.ms后未删除旧消息问题排查

• 混合清理策略的生效逻辑限制
  当cleanup.policy同时配置compact,delete时，删除策略仅会对已经完成压缩的非活跃段生效。你配置的min.cleanable.dirty.ratio=0.5要求段内可压缩的脏数据（即存在更新版本的同Key消息）占比达到50%才会触发压缩任务。如果段内的消息Key长期没有新的更新版本、甚至消息本身没有设置Key，脏数据占比永远达不到触发阈值，该段会一直处于待压缩状态，删除策略也不会对其生效，导致超期消息永久留存。
• 消息时间戳异常
  你配置的message.timestamp.type=CreateTime，消息的时间戳由生产者发送时指定。如果生产者客户端系统时间存在偏差，或者业务逻辑主动伪造了未来的时间戳写入，会导致消息的时间戳永远达不到retention.ms=14天的删除阈值，不会被清理。
• 日志清理线程异常或积压
  AWS MSK集群的日志清理线程资源不足、任务积压，或者组件故障时，会导致压缩和删除任务无法按时执行，超期消息就会留存。
• 活跃段未正常滚动
  虽然配置了segment.ms=7天触发段滚动，但如果分区Leader副本异常、集群元数据同步故障，可能导致活跃段一直无法被关闭。Kafka的删除策略永远不会作用于正在写入的活跃段，因此活跃段内的消息哪怕超过14天也不会被清理。
• 历史配置遗留问题
  如果你的14天保留配置是后期修改的，修改前已经生成的旧段如果符合前文中的压缩触发条件不满足的问题，也不会被自动清理，需要手动删除旧段。

内容的提问来源于stack exchange，提问作者george