如何指定偏移量从Kafka服务器消费消息并显示偏移值?
解决方案:在Kafka控制台消费者中同时输出消息内容和偏移值
当然可行!你只需要给kafka-console-consumer.sh命令添加几个配置参数,就能轻松实现同时打印消息内容和对应偏移值的需求,具体命令如下:
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --from-beginning --max-messages 10 \ --property print.key=false \ --property print.value=true \ --property print.offset=true \ --property format='%s %d'
参数说明:
--property print.offset=true:开启偏移值的打印功能,这是实现需求的核心参数,让消费者输出每条消息对应的偏移量--property format='%s %d':自定义输出格式,其中%s会被替换为消息的内容(value),%d会被替换为对应的偏移值,刚好符合你要的「消息内容 偏移值」格式print.key=false和print.value=true:明确指定只打印消息内容(不打印key),如果你的消息包含key需要输出,可以调整这两个参数和格式字符串,比如改成format='%s %s %d'来同时打印key、value和偏移值
如果你的Kafka版本比较旧(比如0.10.0之前),可能需要通过--formatter指定kafka.tools.DefaultMessageFormatter并配合参数,但现在绝大多数新版本Kafka都支持上面的--property方式,更简洁直观。
内容的提问来源于stack exchange,提问作者ankit
相关产品推荐
相关产品推荐

