nvc++ -stdpar编译GPU并行代码如何避免lambda按引用捕获

nvc++启用-stdpar做GPU卸载时，lambda按引用捕获的变量指向主机端内存地址，GPU核函数直接访问主机地址会触发非法内存访问。原代码另外还有三个不适配GPU stdpar运行的问题：

• 嵌套std::vector<std::vector<T>>是非连续锯齿内存，GPU访问延迟极高，stdpar也很难自动完成内存迁移优化
• 并行循环内调用push_back动态修改容器长度，多线程并发修改会触发数据竞争，CPU端并行运行同样会出问题
• 内层lambda捕获的tmp是主机栈上创建的vector，地址属于主机栈空间，GPU端无法直接访问
• 原代码本身存在逻辑bug：初始化tmp时传入A.size()会先构造A.size()个默认值元素，后续push_back会在已有元素后追加，最终tmp长度会达到预期的2倍

做三处核心调整即可：

• 所有二维矩阵改用一维std::vector<T>连续存储，通过行偏移计算索引，彻底放弃嵌套vector结构
• 提前预分配全部结果内存，完全移除并行循环内的push_back动态扩容操作
• 传入lambda的容器用std::span按值捕获，std::span是轻量视图，拷贝成本极低，不持有引用，完全符合-stdpar的捕获要求；标量参数直接按值捕获

修正后可正常在GPU运行的代码如下：

#include <algorithm>
#include <execution>
#include <numeric>
#include <vector>
#include <span>

template <typename T>
std::vector<T> gpu_matmul(const std::vector<T>& A, const std::vector<T>& tB, size_t M, size_t N, size_t K) {
    // 预分配M行K列的连续结果内存
    std::vector<T> result(M * K, T{0});

    std::for_each(
        std::execution::par_unseq, size_t{0}, M,
        [=,
         A_view = std::span{A.data(), A.size()},
         tB_view = std::span{tB.data(), tB.size()},
         res_view = std::span{result.data(), result.size()}]
        (size_t row_idx) {
            auto a_row = A_view.subspan(row_idx * N, N);
            for (size_t col_idx = 0; col_idx < K; ++col_idx) {
                auto b_col = tB_view.subspan(col_idx * N, N);
                res_view[row_idx * K + col_idx] = std::transform_reduce(
                    std::execution::par_unseq,
                    a_row.begin(), a_row.end(),
                    b_col.begin(),
                    T{0}
                );
            }
        }
    );
    return result;
}

• 编译命令沿用原有参数即可，注意要开启C++20支持以使用std::span：nvc++ -std=c++20 -stdpar=gpu matmul.cpp -o matmul
• 连续内存布局下，nvc++的stdpar会自动在GPU首次访问内存时完成主机到GPU的内存迁移，不需要手动做内存拷贝，性能远高于嵌套vector实现
• 禁止在传入par_unseq策略的lambda内声明栈上vector后做动态push操作：GPU线程私有栈空间极小，这类操作很容易触发栈溢出，提前预分配全局结果内存是最稳妥的实现方式

如果强行保留嵌套vector写法，需要提前分配好所有内层vector的内存，且捕获时按值拷贝整个vector，但这种实现会产生大量冗余内存拷贝，性能比连续存储版本低一个数量级以上，不推荐使用。

内容的提问来源于stack exchange，提问作者NerdKitty