如何解决Kafka重复消息与消费延迟过高问题？

环境信息 #

• 系统：Ubuntu 20.04.5 LTS
• 硬件：32GB内存、1TB硬盘
• Kafka版本：kafka_2.13-3.2.1
• 自定义配置：

# allow us to delete Kafka topics
delete.topic.enable = true

### Change for large message
max.request.size=30728640
message.max.bytes=30728640
max.partition.fetch.bytes=30728640

问题1：消费者读取数据耗时5-10分钟（消费延迟） #

从现有配置和环境出发，可从以下方向排查优化：

• 消费者端配置校验
  • 检查fetch.min.bytes：若该值设得过大，消费者会持续等待攒够指定字节数才拉取消息，直接拉高延迟。建议改回默认值1字节，或根据实际场景调低。
  • 检查fetch.max.wait.ms：若该值被修改为5分钟以上，消费者会等待超时才拉取消息。确认是否偏离默认的500ms配置。
  • 调整消费者线程数：若topic分区数远大于消费者线程数，会导致单线程处理压力过载，拉取速度跟不上。确保消费者线程数等于或接近topic分区数。
• Broker端资源瓶颈排查
  • 磁盘IO检测：如果是机械硬盘，大消息读写易触发IO瓶颈。用iostat查看磁盘使用率（%util），若持续超过80%，建议更换SSD，或优化磁盘挂载参数（如添加noatime）。
  • 内存配置优化：检查server.properties中的KAFKA_HEAP_OPTS，若堆内存分配过小（如低于8GB），会导致Broker频繁GC，降低消息处理效率。建议设为8-12GB（例如export KAFKA_HEAP_OPTS="-Xms8G -Xmx8G"）。
• 网络与堆积检查
  • 测试消费者与Broker的网络连通性：用ping或traceroute检测网络延迟与丢包情况，排查链路故障。
  • 查看消息堆积：执行kafka-consumer-groups.sh --describe --group <你的消费组名>，对比CURRENT-OFFSET与LOG-END-OFFSET的差值，若差值过大说明存在历史堆积，需先清理积压再优化消费速度。

问题2：获取到重复消息 #

重复消息通常由位移提交、重平衡或副本同步问题导致，对应解决方式如下：

• 优化位移提交策略
  • 若使用自动提交（enable.auto.commit=true），且auto.commit.interval.ms设得过大，消费者宕机或重启后会重新拉取未提交位移的消息。建议调小该值至1000ms，或改用手动提交位移，确保消息处理完成后再执行commitSync()或commitAsync()。
• 减少不必要的重平衡
  • 调大session.timeout.ms（如设为30000ms）和heartbeat.interval.ms（如设为10000ms），降低因心跳超时触发的重平衡概率。
  • 若处理大消息耗时久，调大max.poll.interval.ms（如设为300000ms），避免消费者因处理超时被判定为死亡而触发重平衡。
• Broker副本同步校验
  • 检查replica.lag.time.max.ms配置，确保副本同步超时时间合理（默认30000ms）。同时监控ISR（同步副本集）状态，避免因副本延迟导致leader切换后出现消息重复。

通用排查动作 #

1. 查看消费者日志：控制台无报错不代表无细节，检查consumer.log，可能存在位移提交失败、拉取超时等关键信息。
2. 监控核心指标：用kafka-topics.sh查看topic分区状态，用kafka-consumer-groups.sh跟踪消费组位移变化，确认是否存在异常。

内容的提问来源于stack exchange，提问作者Shrawan Kelwa