使用kcat消费Kafka主题指定偏移量区间消息的语法是什么

你需要搭配-o指定起始绝对偏移量，再加-c参数指定消费的消息总数即可实现需求，对应kcat语法如下：

# 替换<N>为起始偏移量，<k>为要消费的消息条数，<分区号>为目标分区编号
kcat -C -b mybroker -t syslog -p <分区号> -o <N> -c <k> -e

参数说明 #

• -o <N>：直接传入正数形式的起始绝对偏移量，kcat会从该偏移量对应的第一条消息开始消费
• -c <k>：指定总共消费k条消息后自动退出，无需感知分区的总消息长度

小提示：Kafka的消息偏移量是分区独立计数的，如果你需要的区间是包含起始的第N条和结尾的第N+k条，将-c的参数值改为k+1即可。随机拉取前可以先通过kcat -L -b mybroker -t syslog查询目标主题各分区的最小、最大有效偏移量，生成随机起始偏移量N之后再执行拉取命令，完全避免全量消费生产数据。

内容的提问来源于stack exchange，提问作者Tristan Tran