运行Docker部署的Kafka时磁盘占满及消息无法发布问题咨询

问题修复方案 #

你遇到的磁盘占满、无法生产消息两个问题，是因为缺少日志分段、容量阈值类配置，且清理策略存在冲突，需补充调整以下配置：

1. 无法生产消息的根因 #

你同时配置了compact,delete两种清理策略，且未设置活跃日志段的拆分阈值：Kafka默认不会清理正在写入的活跃日志段，默认单日志段大小为1GB，当剩余磁盘空间小于活跃段大小时，会直接触发磁盘保护拦截生产请求。
此外仅配置时间保留规则无效：如果5分钟内写入数据量超过剩余磁盘空间，还是会直接占满存储。

2. 需补充的Broker配置 #

将以下配置加入broker的environment字段中：

# 基于容量的全局保留阈值，超出后自动删除最旧数据，这里设为80G，预留20G磁盘空间
KAFKA_LOG_DIR_MAX_SIZE_BYTES: 85899345920
# 单分区最大存储容量，可根据实际分区数量调整
KAFKA_LOG_RETENTION_BYTES: 10737418240
# 拆分日志段为100M，避免大段长期处于活跃状态无法清理
KAFKA_LOG_SEGMENT_BYTES: 107374182
# 清理线程执行间隔改为30秒，提升清理频率
KAFKA_LOG_CLEANER_BACKOFF_MS: 30000
# 普通场景建议仅保留delete清理策略，不需要compaction可删除compact配置
KAFKA_LOG_CLEANUP_POLICY: delete

3. 额外必做检查项 #

• 检查Docker挂载配置：默认容器写层存放在宿主机/var/lib/docker目录下，你需要将Kafka数据目录挂载到宿主机的100G大分区，避免容器存储上限限制，配置示例：

  volumes:
    - /宿主机100G分区路径/kafka-data:/var/lib/kafka/data
  

• 旧数据清理：修改配置前需先停止容器，删除旧的Kafka数据目录，已写满的历史数据不会被新的保留规则自动清理，会一直占用磁盘。
• 可新增压缩配置降低存储占用：

  KAFKA_COMPRESSION_TYPE: lz4
  

内容的提问来源于stack exchange，提问作者AR7