Kafka指定topic特定分区S3消费者消费滞后持续增长问题咨询

• 分区数据倾斜：优先核查该异常分区的消息流入速率是否远高于其余7个分区。Kafka默认按消息key的哈希值分配分区，若某类key的消息占比极高，会直接导致对应分区的流入量超出单消费者的消费上限，最终出现lag持续上涨。目前你的集群整体流入速率为10000条/秒，可单独拉取该分区的生产指标做对比验证。
• 消费者分区分配/实例性能异常：检查S3消费者组的分区分配结果，确认该异常分区绑定的消费者实例是否存在性能瓶颈，包括CPU、内存、磁盘IO占用过高，或是公网/内网带宽被占满，无法及时完成消息拉取、S3写入的操作。
• 分区存在异常阻塞消息：核查该分区是否存在超大消息、格式不符合预期的异常消息，消费者消费到该类消息时会反复重试阻塞消费流程，导致消费进度无法推进，lag持续累积。可优先查看消费者的运行日志，确认是否有消费报错、重试的相关记录。
• 消费进度提交异常：检查该分区的offset提交逻辑是否正常，部分场景下消费者消费成功但offset提交失败，会导致已提交的offset长期停留在旧位置，监控侧展示的lag持续上涨，但实际消费逻辑正常。可通过kafka-consumer-groups.sh命令手动查询消费者组的提交offset与分区最新offset的差值，确认lag数据的准确性。

• 若确认是数据倾斜导致：业务侧可调整消息发送的分区策略，对大流量key改用随机分区规则，或是拆分该大流量key到多个分区；如果无法调整生产侧逻辑，可单独为该分区扩容消费线程，或是单独部署消费实例专门消费该分区，提升单分区消费能力。
• 若确认是消费者实例性能瓶颈：优先升级对应实例的CPU、内存、带宽配置，或是调整消费者组的分配策略，将该异常分区调度到负载更低的消费实例；如果是S3写入瓶颈，可调整S3 consumer的批量写入配置，增大单次批量写入的消息条数、字节阈值，减少S3接口的调用频次降低开销。
• 若确认是异常消息阻塞消费：调整消费者的错误处理逻辑，新增死信队列配置，消费失败达到重试阈值的消息直接写入死信队列，不阻塞主消费流程，后续再单独处理死信队列中的异常消息。
• 若确认是offset提交异常：排查消费者的offset提交配置，调整提交超时时间，或是改用手动提交模式，确保消费成功后再提交offset，同时校准监控指标的采集逻辑，避免lag指标误报。

内容的提问来源于stack exchange，提问作者ROHIT SINGH