如何在Python中读取C++序列化的Protobuf文件并解析？

核心问题定位 #

问题本质是读取文件时未使用纯二进制模式，系统自动对特殊字节（如换行、制表符）做了转义处理，破坏了Protobuf原始的二进制结构，导致解析失败。

具体解决步骤 #

1. 强制以二进制模式读写文件 #

不同语言的文件操作需明确指定二进制模式，避免文本模式的转义：

• Python：打开文件时用'rb'（只读二进制）模式，禁止用默认的'r'文本模式：

  with open('protobuf_data.bin', 'rb') as f:
      raw_data = f.read()
  # 执行解析
  target_msg.ParseFromString(raw_data)
  

• C++：读写都要指定std::ios::binary，确保字节流完整：

  // 写入序列化文件
  std::ofstream out_file("output.bin", std::ios::binary);
  your_proto_msg.SerializeToOstream(&out_file);
  
  // 读取解析
  std::ifstream in_file("output.bin", std::ios::binary);
  YourProtoMsg msg;
  msg.ParseFromIstream(&in_file);
  

2. 验证数据完整性 #

对比直接赋值的二进制字符串与读取后数据的字节长度：

• 长度不一致：说明读取时被转义或截断，重点检查文件打开模式。
• 长度一致但仍报错：用十六进制编辑器对比两者的字节差异，定位被转义的字节（比如0x0A被转为0x5C 0x6E这类转义序列）。

3. 排查中间环节的转义风险 #

如果是跨语言/跨设备传递文件：

• 禁止用文本编辑器打开并保存二进制文件（编辑器会自动转义特殊字节）。
• 传输时使用二进制模式（如FTP选Binary而非ASCII模式），避免传输过程中被转义。

关键提示 #

Protobuf二进制序列化结果是无格式的字节流，全程必须以二进制模式操作，任何文本方式的处理（编辑、传输、读取）都会破坏其结构。

内容的提问来源于stack exchange，提问作者Shivaji Dutta