使用SWIG 4.0.2实现C++到Python字节缓冲区传递的问题咨询

问题1：Python Bytes 到 C++ uint8_t** 的转换 #

首先明确核心逻辑：如果uint8_t**是输出参数（用于返回动态分配的字节数组），Python调用时不需要传入bytes对象——你之前触发TypeError是因为误用了输入参数的传值逻辑。以下分两种场景给出实现：

场景1：uint8_t**作为输出参数（返回字节数组） #

假设你的C++类方法签名如下：

class BytePacker {
public:
    void package(uint8_t** out_data, size_t* out_len) {
        // 示例：生成10字节的测试数据
        *out_len = 10;
        *out_data = new uint8_t[*out_len];
        for (size_t i = 0; i < *out_len; i++) {
            (*out_data)[i] = static_cast<uint8_t>(i);
        }
    }
};

对应的SWIG typemap配置：

// 标记size_t*为输出参数，无需Python传入，自动分配临时变量
%typemap(in, numinputs=0) size_t* out_len (size_t temp) {
    $1 = &temp;
}

// 标记uint8_t**为输出参数，无需Python传入，自动分配临时指针
%typemap(in, numinputs=0) uint8_t** out_data (uint8_t* temp) {
    $1 = &temp;
}

// 将C++返回的uint8_t数组转换为Python bytes，并添加到返回值
%typemap(argout) uint8_t** out_data {
    PyObject* bytes_obj = PyBytes_FromStringAndSize(reinterpret_cast<const char*>(*$1), *arg1);
    $result = SWIG_Python_AppendOutput($result, bytes_obj);
    // 释放C++端分配的内存（必须和你的内存分配方式匹配）
    delete[] *$1;
}

// 可选：返回字节数组的长度
%typemap(argout) size_t* out_len {
    PyObject* len_obj = PyLong_FromSize_t(*$1);
    $result = SWIG_Python_AppendOutput($result, len_obj);
}

此时Python调用方式为：data, length = byte_packer_instance.package()，无需传入任何参数。

场景2：uint8_t**作为输入参数（接收Python bytes） #

如果你的方法需要接收Python bytes作为输入，uint8_t**的意义不大（通常用uint8_t*+长度更合理），但仍可通过以下typemap实现转换：

%typemap(in) uint8_t** (uint8_t* temp) {
    if (!PyBytes_Check($input)) {
        PyErr_SetString(PyExc_TypeError, "Expected bytes object");
        return NULL;
    }
    // 将Python bytes的内部指针转换为uint8_t*
    temp = reinterpret_cast<uint8_t*>(PyBytes_AsString($input));
    $1 = &temp;
}

问题2：Python C API 处理uint8_t数据的最佳方式 #

1. 首选函数：PyBytes_FromStringAndSize
   这个函数比PyBytes_FromString更适合处理二进制数据：它明确接收字节长度，不会把数据当成C字符串（不会遇到\0就截断）。uint8_t和char在几乎所有平台都是1字节类型，直接用reinterpret_cast<const char*>转换是安全的，Python会按原始字节处理，不涉及编码转换。

   示例代码：

   uint8_t* data = ...;
   size_t len = ...;
   PyObject* bytes = PyBytes_FromStringAndSize(reinterpret_cast<const char*>(data), len);
   

2. 手动复制数据的场景
   如果你的uint8_t数组是临时内存（如栈上分配），或者后续会被C++端释放，必须手动复制数据到Python的内存空间：

   PyObject* bytes = PyBytes_New(len);
   if (!bytes) return NULL;
   memcpy(PyBytes_AsString(bytes), data, len);
   

   这种方式能确保Python拿到独立的内存副本，避免悬空指针问题。

内容的提问来源于stack exchange，提问作者Mike Finch