如何配置Kafka 3.2.0主题实现仅去重不清除消息？

核心配置方案 #

要实现仅按Key去重、永不删除任何非墓碑消息，需调整以下主题配置：

• cleanup.policy=compact：开启日志压缩，保留每个Key的最新消息
• retention.ms=-1：禁用基于时间的消息过期删除
• retention.bytes=-1：禁用基于存储大小的消息过期删除
• min.cleanable.dirty.ratio=0.01：降低压缩触发的脏数据比例阈值（默认0.5），让Kafka更频繁执行压缩清理
• delete.retention.ms=31536000000（可选，设为1年或更长）：控制墓碑消息（Key对应null值的消息）的保留时间，若无需删除Key的场景，可设为极大值避免墓碑消息被过早清理

配置未生效的原因 #

你之前的配置失效，核心问题在于默认的min.cleanable.dirty.ratio=0.5：Kafka仅当"脏数据"（同一Key存在更新版本的旧消息）占总日志的50%以上时，才会触发压缩任务。如果你的重复Key占比未达到该阈值，压缩逻辑不会启动，导致旧的重复Key消息依然留存。

将min.cleanable.dirty.ratio调低至0.01后，只要有1%的脏数据，Kafka就会尝试触发压缩，确保重复Key的旧消息被及时清理。

验证压缩效果 #

使用Kafka自带工具验证配置效果：

# 消费主题并打印Key和Value，检查每个Key是否仅保留最新消息
kafka-console-consumer.sh --bootstrap-server <你的Bootstrap地址> --topic <目标主题名> \
  --property print.key=true --property print.value=true --from-beginning

额外注意事项 #

1. 日志压缩是后台异步执行的，配置修改后可能需要等待几分钟才能看到效果，具体取决于集群负载
2. 若需动态修改已存在主题的配置，可使用以下命令（无需重启集群）：

kafka-configs.sh --bootstrap-server <你的Bootstrap地址> --alter --topic <目标主题名> \
  --add-config cleanup.policy=compact,retention.ms=-1,retention.bytes=-1,min.cleanable.dirty.ratio=0.01

3. 避免将min.cleanable.dirty.ratio设为0，这会导致Kafka持续执行压缩任务，占用过多系统资源

内容的提问来源于stack exchange，提问作者Michael C