Kafka应用无法获取正确Schema ID问题排查及解决方案咨询

一、错误根源拆解 #

先明确核心报错：

Caused by: org.apache.kafka.common.errors.SerializationException: Error retrieving Avro unknown schema for id 16 
Caused by: io.confluent.kafka.schemaregistry.client.rest.exceptions.RestClientException: Schema 16 not found 
io.confluent.rest.exceptions.RestNotFoundException: Schema 16 not found

1. Schema ID 16的来源 #

• 这个ID直接来自你正在消费的Kafka消息本身：Avro序列化的消息开头会嵌入4字节的Schema ID，消费者读取消息时会先提取该ID，再去Schema Registry拉取对应Schema。
• curl查不到ID 16，说明该Schema曾在Registry存在过，但后续被删除（比如手动清理过_schemas主题、Registry数据丢失），但关联的消息仍留在业务主题中。
• 该ID既不在应用缓存，也不是Broker/Registry内部日志生成的，完全是存量消息携带的标识。

2. 暴力方案的隐患 #

删除Kafka日志重建_schemas的方式只能临时掩盖问题：一方面会丢失所有存量消息的Schema关联，另一方面如果未消费的带ID 16的消息仍存在，后续还会触发相同报错。

二、正确的分析与解决流程 #

步骤1：验证消息中的Schema ID #

用Kafka原生工具直接读取消息原始内容，确认是否确实存在带ID 16的消息：

kafka-console-consumer.sh --bootstrap-server <你的Broker地址> --topic <业务主题名> --from-beginning --formatter "kafka.tools.DefaultMessageFormatter" --property print.key=true --property print.value=true --property key.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer --property value.deserializer=org.apache.kafka.common.serialization.ByteArrayDeserializer

Avro消息前4字节即为Schema ID，可用十六进制工具解析，确认是否为16（十六进制为0x10）。

步骤2：恢复缺失的Schema ID 16 #

如果能找回该Schema的原始定义（比如从历史代码、Producer本地缓存、配置备份中获取），手动重新注册到Registry，确保ID仍为16：

curl -X POST -H "Content-Type: application/vnd.schemaregistry.v1+json" --data '{"schema": "<你的Avro Schema完整JSON字符串>"}' http://<Registry地址>/subjects/<对应subject名称>/versions

注意：Registry的Schema ID是基于内容哈希生成的，只要注册的Schema与原ID 16的Schema完全一致，Registry会返回已存在的ID 16，不会生成新ID。

步骤3：避免后续重复问题 #

• 禁止手动删除_schemas主题：这是Schema Registry的核心存储，删除会直接丢失Schema与ID的映射关系。
• 启用Registry持久化存储：不要用默认的内存存储，改用JDBC或其他持久化方式，避免Registry重启后数据丢失。
• 备份Schema定义：将生产环境使用的所有Schema提交到代码仓库或配置中心，确保随时可找回。
• 清理无效消息：如果确认带ID 16的消息是无效测试数据，可用kafka-delete-records.sh工具批量删除。

内容的提问来源于stack exchange，提问作者szend