如何将Python中的字节缓冲区传递给C++（基于pybind11）

嘿，我最近在开发一个带Python绑定的C库，核心需求是把Python里创建的缓冲区传到C中做各种处理。最开始我用Google Gemini生成的示例代码当入门模板，结果运行时踩了坑报了错。先把我目前写的C++代码片段贴出来（构造函数还没写完）：

#include <pybind11/pybind11.h>

struct MyStruct {
    int value;
    double* data;
    int size;

    // Constructor
    // ... 这里是未完成的构造函数代码
};

后来我琢磨了下，报错大概率是因为直接用double*接收Python缓冲区的方式不对——毕竟Python和C++的内存管理逻辑是分开的，直接拿指针很容易出现悬空指针、类型不匹配或者内存越界的问题。下面给你几个靠谱的解决思路，都是pybind11官方推荐的做法：

• 方法一：用pybind11的buffer协议安全处理
  pybind11提供了py::buffer类专门对接Python的缓冲区对象（比如bytes、bytearray、numpy数组），能安全获取内存指针、大小和数据类型信息。举个完整的例子：

  #include <pybind11/pybind11.h>
  #include <pybind11/buffer_info.h>
  
  namespace py = pybind11;
  
  struct MyStruct {
      int value;
      double* data;
      int size;
      bool owns_data; // 标记是否由C++管理内存
  
      // 从py::buffer构造
      MyStruct(py::buffer buf, int val) : value(val), owns_data(false) {
          py::buffer_info info = buf.request();
  
          // 检查数据类型是否为double
          if (info.format != py::format_descriptor<double>::format()) {
              throw std::runtime_error("缓冲区数据类型必须是double！");
          }
          // 检查内存是否连续
          if (!info.contiguous) {
              throw std::runtime_error("只支持连续内存的缓冲区！");
          }
  
          data = static_cast<double*>(info.ptr);
          size = static_cast<int>(info.size / sizeof(double));
      }
  
      // 析构函数：仅当C++持有内存时才释放
      ~MyStruct() {
          if (owns_data) {
              delete[] data;
          }
      }
  
      // 示例处理函数：计算缓冲区总和
      double calculate_sum() {
          double sum = 0.0;
          for (int i = 0; i < size; ++i) {
              sum += data[i];
          }
          return sum;
      }
  };
  
  PYBIND11_MODULE(my_lib, m) {
      py::class_<MyStruct>(m, "MyStruct")
          .def(py::init<py::buffer, int>(), "从Python缓冲区构造MyStruct对象")
          .def("calculate_sum", &MyStruct::calculate_sum, "计算缓冲区中double值的总和");
  }
  

  对应的Python调用示例：

  import my_lib
  import numpy as np
  
  # 用numpy数组测试（dtype必须是float64，对应C++的double）
  arr = np.array([1.0, 2.0, 3.0], dtype=np.float64)
  obj = my_lib.MyStruct(arr, 42)
  print(obj.calculate_sum())  # 输出6.0
  
  # 用bytearray测试（需按double的字节顺序生成）
  buf = bytearray(arr.tobytes())
  obj2 = my_lib.MyStruct(buf, 100)
  print(obj2.calculate_sum())  # 同样输出6.0
  

• 方法二：直接接收Python的bytes/bytearray对象
  如果你的缓冲区是bytes或bytearray类型，也可以直接在绑定函数里接收py::bytes或py::bytearray，再转换成C++可操作的内存：

  #include <pybind11/pybind11.h>
  
  namespace py = pybind11;
  
  double process_byte_buffer(py::bytearray buf) {
      py::buffer_info info = buf.request();
      double* data = static_cast<double*>(info.ptr);
      int size = static_cast<int>(info.size / sizeof(double));
  
      double sum = 0.0;
      for (int i = 0; i < size; ++i) {
          sum += data[i];
      }
      return sum;
  }
  
  PYBIND11_MODULE(my_lib, m) {
      m.def("process_byte_buffer", &process_byte_buffer, "处理Python的字节缓冲区");
  }
  

  Python调用更简洁：

  import my_lib
  import numpy as np
  
  arr = np.array([1.0, 2.0, 3.0], dtype=np.float64)
  buf = bytearray(arr.tobytes())
  print(my_lib.process_byte_buffer(buf))  # 输出6.0
  

• 关键注意事项

  • 别假设Python缓冲区内存一直有效：如果Python侧的缓冲区对象被垃圾回收，C里的指针就会变成悬空指针。如果需要长期持有数据，建议把数据复制到C自行分配的内存中，同时标记owns_data为true，在析构时释放。
  • 必须检查数据类型和内存连续性：避免因类型不匹配或非连续内存导致的未定义行为。
  • 若用numpy数组，pybind11有专门的numpy支持，可以直接接收py::array_t<double>，能自动处理维度信息，使用起来更省心。

备注：内容来源于stack exchange，提问作者feeling_lonely