微服务间传递Avro Record时的字段保留问题（Java环境）

可以用Specific Data Type保留tradeDate字段，核心是调整Avro的反序列化配置，让旧版本的Specific Record在处理未知字段时不丢弃，而是暂存并在序列化时带出。以下是具体实现方式：

1. 开启未知字段保留配置 #

Avro默认的SpecificDatumReader会忽略反序列化时遇到的未知字段，导致后续序列化丢失。你需要修改Reporter服务的Avro反序列化配置，强制保留未知字段：

手动配置SpecificDatumReader #

如果是自己手动构建反序列化逻辑：

// 创建SpecificDatumReader时关闭跳过未知字段
SpecificDatumReader<Trade> reader = new SpecificDatumReader<>(Trade.getClassSchema());
reader.setSkipUnknownFields(false);

// 反序列化时，未知字段会被存入Trade对象的unknownFields集合
Trade trade = reader.read(null, decoder);
// 后续序列化时，这些未知字段会被自动写入
SpecificDatumWriter<Trade> writer = new SpecificDatumWriter<>(Trade.getClassSchema());
writer.write(trade, encoder);

使用Confluent KafkaAvroSerializer/Deserializer #

如果用Confluent的序列化器，在Reporter的消费者配置里添加：

# 启用Specific Record读取
specific.avro.reader=true
# 关闭跳过未知字段
avro.reader.skip.unknown.fields=false

这样反序列化后的Trade对象会自动保留tradeDate字段到内部的未知字段集合，序列化时会一并传递给下游。

2. 调整Avro代码生成配置 #

如果Reporter的Trade类是通过Avro IDL生成的，可以在代码生成阶段开启未知字段支持，避免手动修改配置：

Maven插件配置 #

在avro-maven-plugin中添加参数：

<plugin>
  <groupId>org.apache.avro</groupId>
  <artifactId>avro-maven-plugin</artifactId>
  <version>${avro.version}</version>
  <executions>
    <execution>
      <goals>
        <goal>schema</goal>
      </goals>
      <configuration>
        <!-- 开启未知字段支持 -->
        <enableUnknownFields>true</enableUnknownFields>
      </configuration>
    </execution>
  </executions>
</plugin>

生成的Trade类会自动包含处理未知字段的逻辑，无需额外配置即可保留新增字段。

3. 极简转发方案（如果Reporter无需修改消息） #

如果Reporter只是负责转发Trade消息，不需要读取或修改任何字段，可以直接消费字节数组消息，不做Avro反序列化/序列化操作：

// 消费者配置value.deserializer为ByteArrayDeserializer
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, ByteArrayDeserializer.class);
// 生产者配置value.serializer为ByteArraySerializer
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, ByteArraySerializer.class);

// 消费后直接转发
ConsumerRecord<String, byte[]> record = consumer.poll(Duration.ofMillis(100)).iterator().next();
producer.send(new ProducerRecord<>(targetTopic, record.key(), record.value()));

这种方式完全绕过Avro的序列化逻辑，字段肯定不会丢失，是最省心的方案。

内容的提问来源于stack exchange，提问作者T C