C++序列化Protobuf消息传Python时UTF-8解码错误解决方案咨询

错误根源 #

Protobuf的SerializeAsString()返回的std::string本质是二进制字节容器，并非符合UTF-8规范的文本字符串。当你通过wrapper传递时，如果默认按UTF-8文本处理，Python端解码就会遇到非法字节（比如0xff）而报错。

C++端处理方案 #

不需要对序列化后的二进制做“编码”，核心是确保传递的是原始二进制数据；如果wrapper仅支持文本传输，就用Base64把二进制转成合法ASCII文本：

方案1：直接传递二进制数据（推荐） #

如果你的wrapper支持二进制传输（比如字节数组、原生bytes类型），直接把SerializeAsString()得到的std::string按原始字节传递：

// 假设msg是你的Protobuf消息实例
std::string binary_data = msg.SerializeAsString();
// 直接传递binary_data的原始字节，不要做任何文本编码转换

方案2：Base64编码为文本（适配仅支持文本的wrapper） #

如果wrapper只能传输UTF-8文本，用Base64将二进制转成ASCII字符串，避免解码错误：

// 示例用Boost库实现Base64编码，也可以自行实现轻量版本
#include <boost/archive/iterators/base64_from_binary.hpp>
#include <boost/archive/iterators/transform_width.hpp>
#include <string>

std::string protobuf_to_base64(const std::string& binary) {
    using namespace boost::archive::iterators;
    typedef base64_from_binary<transform_width<std::string::const_iterator, 6, 8>> base64_iter;
    std::string result(base64_iter(binary.begin()), base64_iter(binary.end()));
    // 补全Base64要求的填充字符
    size_t padding = (3 - binary.size() % 3) % 3;
    result.append(padding, '=');
    return result;
}

// 使用方式
std::string binary_data = msg.SerializeAsString();
std::string base64_str = protobuf_to_base64(binary_data);
// 将base64_str传递给Python

Python端对应处理 #

• 若直接接收二进制：

  from your_proto_module import YourMessageType
  
  # 假设收到的是bytes类型的binary_data
  msg = YourMessageType()
  msg.ParseFromString(binary_data)
  

• 若接收Base64编码文本：

  import base64
  from your_proto_module import YourMessageType
  
  # 收到的base64_str是字符串类型
  binary_data = base64.b64decode(base64_str)
  msg = YourMessageType()
  msg.ParseFromString(binary_data)
  

关键提醒 #

• 绝对不要把Protobuf的二进制序列化结果当作UTF-8文本处理，二者属于完全不同的数据类型。
• 优先选择二进制传输，Base64只是特殊场景下的妥协方案，会额外增加约33%的数据体积。

内容的提问来源于stack exchange，提问作者macchina001