如何使用pybind11通过memcpy高效将vector<vector<double>>转为二维NumPy数组

你遇到的问题其实是因为对pybind11 numpy数组的内存访问方式理解得不够准确，咱们来一步步解决它。

首先，你原来尝试用mu.mutable_data(i,0)来获取每行的起始地址，但这里的问题在于：mutable_unchecked返回的访问器虽然能给你对应位置的指针，但直接用它配合memcpy时，没有正确定位到整行的连续内存起始点，导致复制的数据错位，出现垃圾值。

其实更直接高效的方式是直接获取numpy数组的原始数据指针，手动计算每行的偏移后，用memcpy批量复制整行数据。下面是修改后的完整可行代码：

#include <pybind11/numpy.h>
#include <pybind11/pybind11.h>
#include <vector>
#include <cstring> // 需包含该头文件以使用memcpy

namespace py = pybind11;
using PyValues = py::array_t<double, py::array::c_style | py::array::forcecast>;

PyValues vals()
{
    using Row = std::vector<double>;
    using Rows = std::vector<Row>;

    Rows rows = {
        { 1., 11.1, 101 },
        { 2., 12.2, 102 },
        { 3., 13.3, 103 },
        { 4., 14.4, 104 },
    };

    const std::size_t num_rows = rows.size();
    if (num_rows == 0) {
        return PyValues({0, 0}); // 处理空输入的边界情况
    }
    const std::size_t num_cols = rows[0].size();

    // 创建指定形状的numpy数组
    PyValues values = PyValues({num_rows, num_cols});
    // 获取数组的内存缓冲区信息，拿到原始数据指针
    auto buf = values.request();
    double* dest = static_cast<double*>(buf.ptr);

    // 批量复制每一行数据
    for (std::size_t i = 0; i < num_rows; ++i) {
        // 校验每行长度一致，避免内存越界
        if (rows[i].size() != num_cols) {
            throw std::runtime_error("All rows must have the same number of columns");
        }
        // 计算当前行的目标内存起始地址
        double* row_dest = dest + i * num_cols;
        // 一次性复制整行连续内存
        std::memcpy(row_dest, rows[i].data(), num_cols * sizeof(double));
    }

    return values;
}

为什么这个方法可行？ #

• 内存布局匹配：你创建numpy数组时指定了py::array::c_style（行优先布局），每行的元素在内存中是连续的，这和std::vector<double>的内存布局完全一致，所以可以直接批量复制。
• 直接访问原始内存：通过values.request().ptr拿到numpy数组的原始数据指针后，我们可以通过i * num_cols计算出每行的起始偏移（每个偏移单位对应一个double的长度），精准定位到目标行的起始位置，用memcpy一次性完成整行复制，效率远高于逐个元素赋值。

注意事项 #

• 必须确保所有子vector的长度完全相同，否则会出现内存越界或数据错位问题，代码中添加了简单的校验逻辑来规避这个风险。
• 不要忘记包含<cstring>头文件，否则memcpy可能无法正常编译。

这样修改后，你就能高效地完成vector<vector<double>>到numpy数组的转换啦。

备注：内容来源于stack exchange，提问作者Steve Lorimer