使用kafkacat的-f选项消费Kafka消息遇报错，如何解决？

问题描述 #

我尝试用以下命令消费Kafka消息并自定义输出格式：

kafkacat -C -b localhost:9092 -t test-topic -p 0 -f 'Topic %t [%p] at offset %o: key %k: %s
' -o -1 -e | jq .

执行后报错：

Error: file/topic list only allowed in producer(-P)/kafkaconsumer(-G) mode

Usage: [file1 file2 .. | topic1 topic2 ..]]
kcat - Apache Kafka producer and consumer tool
https://github.com/edenhill/kcat

移除-f选项后命令能正常运行，但我需要自定义输出格式，请问问题出在哪？

问题原因 #

报错的核心是普通消费者模式（-C）+ 指定特定分区（-p）的组合，不支持使用-f格式化参数。kafkacat的-f参数仅对消费者组模式（-G）或生产者模式（-P）开放，这是工具的内置限制。

解决办法 #

有两种方案可以满足你“指定分区+自定义格式”的需求：

方案1：切换到消费者组模式（保留-f参数） #

把-C换成-G并指定一个消费者组名称，同时保留-p指定分区，这样就能正常使用-f格式化：

kafkacat -G my-custom-group -b localhost:9092 -t test-topic -p 0 -f 'Topic %t [%p] at offset %o: key %k: %s
' -o -1 -e | jq .

注：my-custom-group可以换成任意你想用的消费者组名称。

方案2：用jq实现格式化（保留普通消费者模式） #

如果不想用消费者组模式，可以去掉-f参数，让kafkacat输出JSON格式（加-J参数），再通过jq拼接出你要的格式：

kafkacat -C -b localhost:9092 -t test-topic -p 0 -o -1 -e -J | jq -r '"Topic \(.topic) [\(.partition)] at offset \(.offset): key \(.key): \(.value)"'

这种方式不需要依赖kafkacat的-f参数，完全通过jq实现自定义格式，同时能动态获取topic、分区等字段。

内容的提问来源于stack exchange，提问作者Ayan rahate