Apache Kafka中0大小旧日志文件未被删除是否合理？

这种0大小的旧日志文件未被删除是合理的，不属于Apache Kafka 3.5版本的bug，具体原因如下：

1. 日志清理的判断逻辑 #

Kafka的retention.ms策略是基于日志段内最新消息的时间戳来判断是否过期：只有当段内最新消息的时间戳加上保留时长小于当前时间时，该段才会被标记为待删除。

对于0字节的.log文件，由于没有任何消息记录，Kafka无法获取到可用于判断过期的时间戳，因此不会将其纳入自动清理的范围。

2. 空日志段的生成原因 #

这类空段通常由日志滚动操作触发，常见场景包括：

• 达到log.roll.ms配置的时间滚动间隔
• 发生leader选举、分区重新分配等集群元数据变更操作
• 手动触发日志滚动

滚动后如果没有任何消息写入该段，就会生成0字节的.log文件。

3. 空段的影响与处理建议 #

空日志段仅占用少量inode资源，不会消耗有效存储空间，也不会影响集群正常运行。若需要清理，可采取以下方式：

• 手动删除：确认该段已不再是活跃段（即存在编号更大的日志段）后，可安全删除空的.log及其对应的.index、.timeindex文件
• 优化配置：调整log.roll.ms等日志滚动参数，减少不必要的滚动触发，降低空段生成概率

Kafka日志文件说明（翻译） #

.log文件：存储实际消息记录的日志段，文件名代表该段包含的第一条消息的偏移量。
.index文件：索引文件，将消息的逻辑偏移量映射到.log文件中的字节偏移量，用于快速定位指定偏移量的消息，避免全量扫描.log文件。
.timeindex文件：时间索引文件，用于根据时间戳快速定位.log文件中的消息。
.snapshot文件：存储生产者状态的快照（包含序列号信息），用于避免重复消息。当新leader选举后，原preferred leader恢复时，需要该状态快照重新成为leader。

内容的提问来源于stack exchange，提问作者Judy