如何将直接转字节数组的Protobuf消息反序列化为对应类型？

当服务端直接输出结构体的内存二进制而非标准Protobuf编码时，无法用ParseFromString解析，需要手动按服务端的内存布局来解析并映射到Protobuf对象，具体实现步骤如下：

核心前提 #

必须完全匹配服务端原结构体的字段顺序、数据类型、字节序、内存对齐规则，这是解析正确的关键。如果不清楚服务端结构体定义，得先从服务端开发人员处获取准确信息。

具体实现步骤 #

1. 用struct模块解析原始字节 #

Python的struct模块可以按指定格式解析二进制数据，对应服务端的内存布局。格式符需要匹配字段类型和字节序：

• 字节序标记：<表示小端（x86/ARM常见），>表示大端（PowerPC等架构），=表示系统原生字节序
• 类型符：i对应32位整数，f对应单精度浮点数，16s对应16字节字符串，x对应填充字节（处理内存对齐）

2. 映射解析结果到Protobuf对象 #

把struct解析出的字段值逐个赋值给protoc生成的消息对象的对应字段。

代码示例 #

假设服务端的C结构体定义（无内存对齐）：

struct MyMessage {
    int32_t id;
    float temperature;
    char device_name[16];
} __attribute__((packed));

Python端解析代码：

import struct
import xx_pb2  # 替换为你protoc生成的模块

def raw_bytes_to_mymessage(raw_bytes):
    # 格式字符串：小端字节序，32位int + 单精度float + 16字节字符串
    fmt = '<i f 16s'
    # 解析字节数组
    id, temp, name_raw = struct.unpack(fmt, raw_bytes)
    # 处理字符串：解码并去除末尾空字符
    device_name = name_raw.decode('utf-8').rstrip('\x00')
    # 初始化并赋值Protobuf消息
    msg = xx_pb2.MYMESSAGE()
    msg.id = id
    msg.temperature = temp
    msg.device_name = device_name
    return msg

# 使用示例
raw_data = b'\x05\x00\x00\x00\x00\x00\xc0@device_01\x00\x00\x00'
parsed_msg = raw_bytes_to_mymessage(raw_data)
print(parsed_msg)

注意事项 #

• 内存对齐处理：如果服务端结构体未使用packed属性，会存在填充字节，需要在格式字符串中添加对应数量的x（比如结构体对齐后多了2字节填充，格式字符串要加xx）。
• 复杂类型处理：遇到嵌套结构体时，需先截取对应字节段，再用子格式解析；遇到数组时，用重复的类型符（比如3i表示3个int32）。
• 字节序校验：如果解析结果明显异常（比如数值完全不合理），优先检查字节序是否匹配。

内容的提问来源于stack exchange，提问作者Wör Du Schnaffzig