Python2迁移至Python3时处理C++ std::string转bytes出现utf-8解码错误如何解决

核心矛盾：Python3的C/C++绑定层默认会将std::string按UTF-8编码解码为str类型，你的原始二进制数据包含非UTF-8字节，导致隐式解码失败或生成的str无法直接转换为目标bytes。可按优先级选择以下方案：

方案1：直接从str还原原始字节（无需修改绑定逻辑，适用性最广） #

如果绑定层已经将std::string的字节序列直接映射为str的Unicode码位（无转义、无错误替换），直接用latin-1编码反向转换即可：

raw_bytes = msg.raw_data.encode('latin-1')

latin-1编码的特性是0-255范围内的Unicode码位和单个字节完全一一对应，转换过程不会丢失任何原始数据，也不会触发编码错误。
你之前的代码报错，原因是调用bytes(msg.raw_data, encoding='latin-1')时，Python首先会读取msg.raw_data，此时C++绑定层自动触发了UTF-8解码，错误发生在这个隐式解码步骤，和你显式指定的latin-1编码无关。

方案2：直接读取结构体原始内存（仅适用于ctypes绑定场景） #

如果用ctypes对接C++模块，可以跳过自动解码逻辑，直接读取结构体对应字段的内存内容：

import ctypes
# 替换下方的MsgType为你实际绑定的C结构体类型
field_offset = MsgType.raw_data.offset
struct_base_addr = ctypes.addressof(msg)
raw_str_ptr = ctypes.cast(struct_base_addr + field_offset, ctypes.POINTER(ctypes.c_char_p))
raw_bytes = ctypes.string_at(raw_str_ptr[0])

方案3：调整绑定层的解码错误处理策略 #

如果你使用pybind11、SWIG等工具生成绑定，可以在绑定逻辑中给std::string的转换指定surrogateescape错误处理规则：

• pybind11场景示例：py::str(py::bytes(cpp_std_str), "utf-8", "surrogateescape")
  拿到Python侧的str对象后，调用str.encode('utf-8', 'surrogateescape')即可无损还原原始字节。

内容的提问来源于stack exchange，提问作者fwiffo