Kafka消费者读取字节量远超预期问题排查求助

1. 检查消费者组的位移重置策略与当前位移状态 #

你的消费者组ID是time-series-storage-writer，如果该组的位移重置策略被设置为earliest，且消费者启动时没有有效的已提交位移，就会从头开始消费主题的所有历史数据，这会导致短时间内读取速率远超实时生产速率。

• 用Redpanda工具查看消费者组详情：

  rpk group describe time-series-storage-writer
  

  重点看current-offset和end-offset的差值，如果差值很大，说明存在大量未消费的历史消息。
• 同时检查主题的消息留存配置，确认是否积累了大量历史数据：

  rpk topic describe <你的主题名称>
  

2. 验证分区分配是否异常 #

如果该消费者订阅的主题存在多个分区，且消费者组内其他消费者没有分到对应分区，会导致这个消费者独占所有分区的读取权限，加上历史消息的话，读取速率会被放大。

• 查看消费者组的分区分配情况：

  rpk group describe time-series-storage-writer --verbose
  

  确认该消费者是否被分配了远超预期的分区数量。

3. 排查KafkaJS消费者配置的潜在问题 #

虽然你的代码配置了maxBytes: 1048576（1MB）、maxWaitTimeInMs: 1000，但仍有几个点需要确认：

• eachBatchAutoResolve: true会在eachBatch执行完成后自动提交位移，如果你的storeMeasurements方法执行速度极快，消费者会持续拉取批量消息，若存在历史积压，就会维持高速读取。
• 检查是否存在重复消费的情况：如果位移提交逻辑异常（比如heartbeat调用时机不对，或者isStale()判断导致提前退出循环但位移仍被提交），会导致消费者反复消费同一批消息，推高读取速率。

4. 确认消费者是否真的在读取“非实时”数据 #

从你的测试来看，移除再添加消费者后速率直接跳至100+MB/s，这更符合消费历史数据的特征：

• 可以临时修改消费者的订阅逻辑，只消费启动后的新消息（比如设置fromBeginning: false），观察读取速率是否回落至生产速率附近：

  await redpandaConsumer.subscribe({
    topics: ["你的主题"],
    fromBeginning: false
  });
  

内容的提问来源于stack exchange，提问作者NorwegianClassic