kcat是否支持基于proto文件的Protobuf键值反序列化？求简易终端工具

kcat对Protobuf的支持 #

kcat（原kafkacat）支持通过Protobuf定义文件反序列化消息的键和值，从v1.6.0版本开始引入该功能，无需额外依赖，直接通过命令行参数配置即可。

具体使用示例 #

假设你有一个Protobuf定义文件user.proto，内容如下：

syntax = "proto3";
message User {
  string id = 1;
  string name = 2;
  int32 age = 3;
}

要反序列化主题user-topic中的消息值，使用以下命令：

kcat -b <kafka-broker地址> -t user-topic -C -f '%k: %v\n' -s value=protobuf=user.proto#User

如果需要同时反序列化键（假设键对应UserKey消息类型），则：

kcat -b <kafka-broker地址> -t user-topic -C -f '%k: %v\n' -s key=protobuf=user.proto#UserKey -s value=protobuf=user.proto#User

参数说明：

• -s key=protobuf=<proto文件>#<消息类型>：指定键的反序列化规则
• -s value=protobuf=<proto文件>#<消息类型>：指定值的反序列化规则
• -C：以消费者模式运行
• -f：自定义输出格式

其他简易终端工具 #

如果kcat的配置不符合你的使用习惯，还有以下轻量终端工具可选：

• kgo：Go语言编写的Kafka客户端，支持Protobuf反序列化，配置简洁，通过--proto参数指定定义文件和消息类型，命令风格与kcat接近
• kafka-protobuf-console-consumer：Kafka官方配套工具（需配合Protobuf插件），属于kafka-tools包的一部分，适合已安装Kafka集群工具链的场景，示例命令：

kafka-console-consumer.sh --bootstrap-server <broker地址> --topic <主题名> --property print.key=true --property key.deserializer=org.apache.kafka.common.serialization.protobuf.KafkaProtobufDeserializer --property value.deserializer=org.apache.kafka.common.serialization.protobuf.KafkaProtobufDeserializer --property protobuf.message.type=<消息全限定名>

注意：若依赖Schema Registry需额外配置地址，纯本地proto文件使用时需确保类路径包含生成的Protobuf类。

内容的提问来源于stack exchange，提问作者frblazquez