Kafka流处理Avro schema导致Pets字段重复问题求助

首先得先点明一个关键细节：你的消费命令没有指定Avro反序列化器，这很可能是你看到异常数据的首要诱因。咱们一步步拆解可能的问题，再给出排查方向：

1. 反序列化配置错误导致的「假重复」 #

Avro数据是二进制格式，而默认的kafka-console-consumer会用StringDeserializer解析数据——这完全不匹配Avro的存储格式，会把二进制数据错误解析成奇怪的JSON结构：比如嵌套的Person字段被平铺、CreationTime/jobID类型乱转，甚至凭空出现重复的Pets/pets字段。

先验证真实数据：用正确的Avro消费命令重新拉取数据（需要依赖Confluent的Avro序列化包）：

./bin/kafka-console-consumer --topic my_topic \
--bootstrap-server localhost:9092 \
--key-deserializer io.confluent.kafka.serializers.KafkaAvroDeserializer \
--value-deserializer io.confluent.kafka.serializers.KafkaAvroDeserializer \
--property schema.registry.url=http://localhost:8081

如果用这个命令消费后没有重复字段，那说明之前的异常只是反序列化错误导致的假象，数据本身是正常的。

2. 流处理应用的转换逻辑漏洞 #

如果真实数据确实存在Pets和pets重复，那大概率是你的应用在数据转换环节出了问题：

• 对象映射的大小写兼容问题：比如你用了Jackson这类工具，开启了ACCEPT_CASE_INSENSITIVE_PROPERTIES（大小写不敏感解析），但序列化时没有做字段过滤，导致原始字段名和规范后的字段名被同时写入。
• 代码逻辑重复写入：上游数据可能本身就同时存在Pets和pets（历史遗留问题），你的转换代码没有做去重处理，直接把所有字段复制到了新的Avro对象中；或者代码里不小心手动添加了两次这个字段。
• POJO与Avro Schema映射错误：如果应用用POJO对应Avro Schema，检查POJO类里是不是同时存在Pets和pets两个属性，或者注解配置重复（比如@JsonProperty重复映射字段）。

3. Schema Registry的版本兼容问题 #

虽然你说只新增了jobID字段，但还是要确认下Schema Registry的历史版本：有没有旧版本的Schema包含小写的pets字段？如果应用在写入时不小心混用了新旧Schema版本，就会导致Topic里同时存在符合不同Schema的数据，消费时就会出现重复字段。

排查与修复步骤 #

1. 优先验证真实数据：用正确的Avro消费命令确认Topic中的实际数据，排除反序列化错误的干扰。
2. 检查转换代码：
   • 梳理数据转换逻辑，确保只读取和写入Schema中定义的Pets字段，过滤掉上游可能存在的小写pets字段。
   • 调整序列化工具配置，关闭不必要的大小写不敏感解析，或者强制只输出Schema中定义的字段。
3. 核对Schema Registry：查看目标Topic对应的所有Schema版本，确保字段名大小写一致。如果存在包含pets的旧版本，更新应用代码强制使用最新Schema，必要时清理Topic中的旧数据。

内容的提问来源于stack exchange，提问作者curiosityrock