使用Kafkacat按时间戳消费计数时结果异常的问题

问题场景 #

我需要统计指定Kafka主题中两个时间戳之间的消息数量，执行了以下kafkacat命令：

# START_DATE = 01.04.2022 02:00:00Z（对应毫秒时间戳1648778400000）
# END_DATE = 01.04.2022 02:05:00Z（对应毫秒时间戳1648778700000）
kafkacat -C -b broker:9092 -t mytopic -o s@1648778400000 -o e@1648778700000 -p 0 -f '[ts %T] [partition %p] [offset %o] %k\n' -e -c 1

根据kafkacat的帮助文档，s@<value>表示从指定毫秒时间戳开始消费，e@<value>表示到指定时间戳（不包含）停止消费。我预期这条命令会返回时间戳在[1648778400000, 1648778700000)区间内的第一条记录，但实际返回了早于起始时间的分区0第一条记录：

[ts 1648692486141] [partition 0] [offset 2] 643b0013-b3e1-47a5-a9d3-7478c0e91ca4

测试了kafkacat 1.5.0和docker版本edenhill/kcat:1.7.1，仅使用s@<value>参数时也出现同样问题。

原因分析 #

你对s@和e@的用法理解没错，但出现异常是因为两个关键点：

1. 无匹配消息时的默认行为：s@<timestamp>会定位到分区中第一个时间戳大于等于指定值的消息，但如果该分区内没有任何消息满足>= 指定时间戳的条件，kafkacat会自动回退到分区的起始位置开始消费，这就是你看到早于指定时间记录的原因。
2. -c 1参数的影响：当用-c 1限制只消费1条消息时，一旦找不到符合时间范围的消息，kafkacat会直接返回分区的第一条消息，而不是返回空结果。

解决办法 #

第一步：确认分区内是否存在目标时间范围的消息 #

先验证分区0中有没有时间戳在目标区间内的消息，执行以下命令遍历分区0的所有消息并打印时间戳：

kafkacat -C -b broker:9092 -t mytopic -p 0 -f '[ts %T] [offset %o]\n' -e

如果输出里确实没有>=1648778400000的时间戳，说明该分区在这个时间段内没有消息，kafkacat的行为是符合预期的。

第二步：正确统计时间范围内的消息数量 #

如果确认分区内有目标时间范围的消息，使用以下命令统计数量（注意去掉-c 1，避免提前终止消费）：

kafkacat -C -b broker:9092 -t mytopic -o s@1648778400000 -o e@1648778700000 -p 0 -e | wc -l

这个命令会消费指定时间范围内的所有消息，再通过wc -l统计消息的行数（即数量）。

额外提示 #

• 如果你的主题有多个分区，需要逐个分区执行统计命令，再把结果求和，因为-p参数只能指定单个分区。
• kcat（kafkacat的新版本名称）的参数用法和kafkacat完全一致，不需要调整命令。

内容的提问来源于stack exchange，提问作者filpa