如何无需消费全量消息提取Kafka Topic中所有消息的SchemaIDs？

1. 直接用Schema Registry REST API查询 #

Schema Registry本身维护了Topic与Schema的关联关系（默认采用TopicNameStrategy时，Topic对应subject为{topic}-value或{topic}-key），可以通过它的REST API快速获取：

• 先获取指定subject的所有Schema版本：

  curl -X GET http://<schema-registry-host>:8081/subjects/{topic}-value/versions
  

• 针对每个版本，查询对应的Schema ID：

  curl -X GET http://<schema-registry-host>:8081/subjects/{topic}-value/versions/{version}/schema
  

  返回结果中的id字段就是你要的Schema ID。

  注：如果用了自定义Subject命名策略（比如RecordNameStrategy），需要先确认对应的subject名称，再执行查询。

2. 使用Schema Registry CLI工具 #

Confluent官方的Schema Registry提供了CLI工具，操作更简便：

• 列出指定subject的所有Schema版本：

  schema-registry subjects list-versions --subject {topic}-value
  

• 获取指定版本的Schema详情（包含ID）：

  schema-registry schema get --subject {topic}-value --version {version}
  

3. 基于Kafka Broker日志的轻量扫描（无需全量消费） #

如果不想依赖Schema Registry，可以用Kafka自带的kafka-dump-log.sh工具扫描日志头部提取Schema ID（Avro消息前5字节包含Schema ID），不用解析完整消息内容：

kafka-dump-log.sh --broker-list <broker-host>:9092 --topic {topic} --print-data-log | grep -oP 'schema.id=\K\d+' | sort -u

这个方法比全量消费解析快很多，因为只提取消息头部的Schema ID并去重。

关键说明 #

• 优先用Schema Registry的API/CLI，这是最高效的方式，因为它直接维护了Topic和Schema的映射，无需扫描Kafka日志。
• 若Topic采用了自定义Subject策略，需要先明确对应的subject名称再查询。

内容的提问来源于stack exchange，提问作者Jin Ma