如何通过Cython将C++含空字符的std::stringstream二进制数据传递到Python

错误根源 #

截断问题来自三个核心错误：

1. strcpy是为C风格字符串设计的，遇到\0就会终止复制，完全不适合处理中间带空字符的二进制npy数据
2. 仅返回裸char*指针没有附带数据实际长度，上层Cython/Python默认会把char*当做以\0结尾的字符串处理，自然会截断
3. 内存分配逻辑错误：new char[len-1]少分配了1字节，本身就会触发内存越界问题

分步修改 #

1. C++端修改 #

替换strcpy为memcpy按实际长度复制数据，同时增加输出参数返回数据长度，新增内存释放接口避免泄漏：

// 新增输出参数out_len用于返回数据实际字节数
char* SendData(size_t* out_len)
{
  std::stringstream ofs;
  FillData(ofs);
  const std::string my_str = ofs.str();
  *out_len = my_str.length();
  // 按实际长度分配内存，不要减1
  char* cstr = new char[*out_len];
  // 用memcpy按长度复制，忽略中间的\0
  memcpy(cstr, my_str.data(), *out_len);
  return cstr;
}

// 新增内存释放接口，避免内存泄漏
void FreeData(char* data)
{
  delete[] data;
}

2. Cython端修改 #

声明新的C接口，拿到数据指针和长度后转换为Python原生bytes对象，同时释放C侧内存：

# 先声明C++侧的接口，替换为你实际的头文件名
cdef extern from "your_cpp_header.h":
    char* SendData(size_t* out_len)
    void FreeData(char* data)

cdef class YourCppApiClass:
    # 原有类的其他定义省略
    def send_data(self):
        cdef size_t data_len
        cdef char* data_ptr = SendData(&data_len)
        # 按长度从C指针复制数据生成Python bytes（原生支持带\0）
        py_data = data_ptr[:data_len]
        # 释放C++侧分配的内存，避免泄漏
        FreeData(data_ptr)
        return py_data

3. Python端修改 #

无需调整原有逻辑，直接使用返回的bytes即可：

result = self.python_api.send_data()
load_bytes = BytesIO(result)
arr =  np.load(load_bytes, allow_pickle=True)

注意事项 #

• 所有带空字符的二进制数据处理都要使用按长度操作的接口，不要使用字符串类接口
• 跨语言传递二进制数据必须同时传递数据指针和长度，不能依赖终止符判断数据结束
• C++侧手动分配的堆内存必须主动释放，避免进程内存泄漏

内容的提问来源于stack exchange，提问作者user2773716