如何将原生字节缓冲区数据反序列化为Avro生成的类对象

报错原因 #

你遇到的报错确实是因为Avro自带的fromByteBuffer方法默认要求输入是Avro单对象编码格式的字节流，自带固定前导头字节，而你拿到的是C++原生结构体的内存直接dump，不符合Avro序列化格式规范，因此解析失败。

可行方案 #

由于你已经确认Avro类的字段顺序和C++结构体的字段顺序完全一致，可以通过反射遍历Avro Schema字段的方式自动读取缓冲区内容赋值，不需要手动逐个处理上百个字段。

前置注意项 #

首先要确认C++端结构体的字节规则：

• 字节序：x86平台下C++默认是小端序，Java ByteBuffer默认是大端序，必须对齐否则读取的数值完全错误
• 内存对齐：确认C++结构体是否开启了紧凑打包（比如加了#pragma pack(1)），如果有默认对齐填充字节需要先处理掉填充位，否则字段位置会错位

实现代码 #

可以写一个通用的工具方法完成自动转换：

import org.apache.avro.Schema;
import org.apache.avro.specific.SpecificRecord;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.charset.StandardCharsets;

public class NativeAvroDeserializer {
    public static <T extends SpecificRecord> T deserialize(ByteBuffer buffer, Class<T> avroClazz) throws Exception {
        // 对齐字节序，和C++端保持一致，x86平台用LITTLE_ENDIAN
        buffer.order(ByteOrder.LITTLE_ENDIAN);
        // 反射创建Avro对象实例
        T instance = avroClazz.getDeclaredConstructor().newInstance();
        Schema schema = instance.getSchema();
        
        // 按字段顺序遍历读取
        for (Schema.Field field : schema.getFields()) {
            Schema.Type type = field.schema().getType();
            Object fieldValue = switch (type) {
                case INT -> buffer.getInt();
                case FLOAT -> buffer.getFloat();
                case LONG -> buffer.getLong();
                case DOUBLE -> buffer.getDouble();
                case BOOLEAN -> buffer.get() != 0;
                // 如果有固定长度字符串，按照C++端约定的长度读取即可
                case STRING -> {
                    byte[] strBytes = new byte[16]; // 替换为C++端约定的字符串固定长度
                    buffer.get(strBytes);
                    yield new String(strBytes, StandardCharsets.UTF_8).trim();
                }
                // 如果有嵌套结构体，递归调用deserialize方法即可
                // case RECORD -> deserialize(buffer, 对应嵌套Avro类的Class对象);
                default -> throw new UnsupportedOperationException("未支持的字段类型: " + type);
            };
            // 按字段索引直接赋值，不需要传字段名
            instance.put(field.pos(), fieldValue);
        }
        return instance;
    }
}

调用方式 #

你只需要传入你读取到的字节缓冲区和目标Avro类即可：

ByteBuffer rawBuffer = bBuffer(0, 500);
AvroClassName result = NativeAvroDeserializer.deserialize(rawBuffer, AvroClassName.class);

内容的提问来源于stack exchange，提问作者ZenCoding