Boost Python中C++与Python数组互传及vector转ndarray效率问题求助

我之前也踩过这个一模一样的坑！Boost Python默认对vector<vector<double>>这类嵌套容器的转换机制，在处理大矩阵时简直是灾难——本质是它会逐元素做类型转换和内存拷贝，完全没利用到内存连续的优势，自然慢得离谱。下面给你几个实测有效的解决方案，按效率从高到低排序：

1. 在C++侧直接构造Numpy ndarray（最优解） #

跳过中间的vector<vector<double>>转Python容器的步骤，直接在C++里用Numpy的C API分配连续内存，把计算结果直接拷贝进去，再通过Boost Python返回Numpy数组。这样全程只做一次内存拷贝，效率拉满。

示例代码大概是这样：

#include <boost/python.hpp>
#include <boost/python/numpy.hpp>
#include <vector>

namespace np = boost::python::numpy;

np::ndarray matrix_to_numpy(const std::vector<std::vector<double>>& mat) {
    if (mat.empty()) return np::ndarray();
    
    int rows = mat.size();
    int cols = mat[0].size();
    // 计算总元素数，分配连续内存的Numpy数组
    np::dtype dtype = np::dtype::get_builtin<double>();
    np::ndarray result = np::empty(boost::python::make_tuple(rows, cols), dtype);
    
    // 把嵌套vector的数据拷贝到Numpy的连续内存中
    double* result_ptr = reinterpret_cast<double*>(result.get_data());
    for (const auto& row : mat) {
        std::memcpy(result_ptr, row.data(), cols * sizeof(double));
        result_ptr += cols;
    }
    
    return result;
}

// 然后在Boost Python的模块定义中注册这个函数
BOOST_PYTHON_MODULE(your_module) {
    np::initialize();
    boost::python::def("matrix_to_numpy", matrix_to_numpy);
}

这样Python侧调用后直接拿到的就是Numpy数组，不需要任何额外转换，速度提升非常明显。

2. 改用连续内存容器存储矩阵（次优解） #

如果你的计算逻辑允许，直接在C++里用单个vector<double>存储二维数据（按行优先或列优先），同时记录矩阵的行、列数。这样返回时可以直接把vector的内存指针交给Numpy，连拷贝都省了（只要保证vector在Python使用期间不被销毁）。

示例代码：

#include <boost/python.hpp>
#include <boost/python/numpy.hpp>
#include <vector>

namespace np = boost::python::numpy;

struct Matrix {
    std::vector<double> data;
    int rows;
    int cols;
};

np::ndarray matrix_to_numpy(const Matrix& mat) {
    np::dtype dtype = np::dtype::get_builtin<double>();
    // 直接利用vector的连续内存构造Numpy数组，指定shape
    np::ndarray result = np::from_data(
        mat.data.data(),
        dtype,
        boost::python::make_tuple(mat.rows, mat.cols),
        boost::python::make_tuple(mat.cols * sizeof(double), sizeof(double)), // 步长
        boost::python::object() // 所有者，这里如果需要Python管理内存，得调整
    );
    return result;
}

// 注册模块
BOOST_PYTHON_MODULE(your_module) {
    np::initialize();
    boost::python::class_<Matrix>("Matrix")
        .def_readonly("data", &Matrix::data)
        .def_readonly("rows", &Matrix::rows)
        .def_readonly("cols", &Matrix::cols);
    boost::python::def("matrix_to_numpy", matrix_to_numpy);
}

这种方法的关键是利用np::from_data直接复用C侧的内存，完全避免拷贝，性能几乎和纯C计算一样快。

3. 优化Python侧的转换方式（应急方案，不推荐大矩阵） #

如果暂时没法修改C++代码，那就在Python侧尽量减少转换的开销。不要用默认的逐元素转换，而是先把嵌套的vector转成Python list，再用np.array指定连续内存布局和 dtype：

import numpy as np
from your_module import get_matrix

# 调用C++函数返回vector<vector<double>>
cpp_matrix = get_matrix()
# 直接转换为Numpy数组，指定C风格连续内存和dtype
np_array = np.array(cpp_matrix, dtype=np.float64, order='C')

这种方法比手动循环快很多，但还是不如前两种，因为中间还是要经历Python list的转换和一次拷贝，大矩阵下依然会有明显延迟。

总结一下：优先选择方案1或2，从根源上避免不必要的内存拷贝和类型转换，这才是解决瓶颈的核心。

内容的提问来源于stack exchange，提问作者Rastapopoulos