Kafka Topic压缩异常：墓碑消息未删除，保留同一键最后两条记录

问题根源分析 #

你的Topic配置存在几个参数逻辑不匹配的问题，导致同键保留多条记录、墓碑消息无法被清理：

1. 同键保留多条记录的原因 #

• segment.ms=100 设置得过小，Kafka的日志压缩是按日志段（segment）触发的。100ms会频繁生成新的segment，压缩线程还没来得及处理旧segment，新segment已经产生，同一个键的记录分散在多个未压缩的segment里，消费时就会读到多条。
• 虽然min.cleanable.dirty.ratio=0.01把压缩触发阈值设得很低，但大量小segment会让压缩线程疲于处理，反而没法及时合并同键记录。

2. 墓碑消息未被删除的原因 #

• delete.retention.ms=100是墓碑消息的保留时长，但它的生效前提是墓碑消息所在的segment已经完成压缩。只有压缩后的segment，Kafka才会开始计算墓碑消息的保留时间，未压缩的segment里的墓碑消息不会被清理。
• 同样因为segment.ms太小，segment还没等到压缩就被新segment替代，墓碑消息一直留在未压缩的segment中，自然不会被删除。

配置调整方案 #

修改以下参数，平衡压缩效率和预期效果：

# 增大segment时长，给压缩线程足够处理时间，建议根据业务量调整，比如设为3600000（1小时）
segment.ms=3600000
# 保留低阈值的脏数据占比，确保脏数据不多时就触发压缩
min.cleanable.dirty.ratio=0.01
# 保留短墓碑消息时长，前提是segment能被及时压缩
delete.retention.ms=100
# 可选：设置最小可压缩字节数，避免小segment被压缩线程忽略（比如1MB）
log.cleaner.min.cleanable.bytes=1048576

额外注意事项 #

• Kafka日志压缩是后台异步执行的，调整配置后需要等待一段时间才能看到效果。
• 可以用命令查看Topic参数是否生效：

  kafka-topics.sh --describe --topic <你的Topic名称> --bootstrap-server <Broker地址>
  

• 测试时可以手动触发segment滚动：生产消息后等待segment.ms时长，或者用以下命令强制滚动，再等待压缩线程执行：

  kafka-run-class.sh kafka.admin.LogDirsCommand --alter --topic <Topic名称> --path <日志目录> --segment-index-size 1
  

内容的提问来源于stack exchange，提问作者onkar chaware