Kafka消息未达指定retention.ms时长即被删除问题求助

你的主题foo配置了retention.ms=2419200000（28天）但消息仅24小时就被删除，从给出的主题配置来看核心参数看似无异常，可从以下方向排查解决：

1. 确认主题配置是否真正生效 #

配置可能因操作或集群同步问题未实际应用，执行命令查看主题实际生效配置：

kafka-configs.sh --describe --topic foo --bootstrap-server <你的Broker地址>:<端口>

重点确认retention.ms返回值是否为2419200000，若未生效，重新执行配置命令：

kafka-configs.sh --alter --topic foo --bootstrap-server <你的Broker地址>:<端口> --add-config retention.ms=2419200000

2. 检查消息时间戳是否异常 #

你的主题使用message.timestamp.type=CreateTime，消息时间戳由生产者生成。若生产者系统时间比Kafka集群时间快28天以上，消息刚写入就会被判定为过期删除。

验证消息时间戳：

kafka-console-consumer.sh --topic foo --bootstrap-server <你的Broker地址>:<端口> --property print.timestamp=true

若输出的消息时间戳远大于当前集群时间，同步生产者与Kafka集群的系统时间即可解决。

3. 排查磁盘空间问题 #

若Kafka所在磁盘使用率过高，触发集群磁盘保护机制，Kafka会提前删除旧日志释放空间。查看Broker日志（通常在logs/server.log），若有Disk usage is above the high watermark类警告，需清理磁盘空间或调整磁盘相关配置（如log.disk.threshold.percentage）。

4. 排除Broker全局配置干扰 #

虽主题配置优先级高于Broker全局配置，但如果Broker的log.retention.ms设置了更小值且主题配置未正确覆盖（极少见），也会导致提前删除。可查看Broker的server.properties或执行命令确认全局配置：

kafka-configs.sh --describe --bootstrap-server <你的Broker地址>:<端口> --entity-type brokers --entity-name <Broker ID>

确保全局log.retention.ms不小于主题配置值。

内容的提问来源于stack exchange，提问作者steffiereggie