OpenMP大数组使用reduction归约触发段错误/总线错误咨询

这个问题不是机器可用RAM不足导致的，核心诱因是OpenMP数组归约的默认栈分配机制，搭配旧编译器的实现缺陷触发内存访问越界。

• 1M顶点对应的row_ptr数组如果是uint64_t类型，总大小仅约8MB，远小于常规程序的可用内存配额；而50M条边场景下e_list的内存占用远高于8MB仍可正常运行，完全不符合内存不足的故障特征。
• 内存不足触发的故障通常是系统OOM killer强制终止进程，不会固定在数组规模到1M时触发段错误、总线错误。

OpenMP 4.5版本才支持数组切片形式的reduction，旧版本编译器（GCC 9及更早、Clang 11及更早）的实现中，会为每个参与并行的线程在线程私有栈上分配归约数组的私有副本，而非堆内存：

• Linux系统默认线程栈大小通常为8MB：当num_vertices=100k时，归约切片长度为100002，单副本大小约800KB，远低于栈上限，运行无异常。
• 当num_vertices=1M时，归约切片长度为1000002，单副本大小刚好约8MB，触碰栈空间上限，写入时发生栈溢出触发段错误；如果写入地址落在未对齐的内存页上，就会报总线错误。
• 迭代次数（num_edges大小）不影响归约私有数组的尺寸，仅和循环执行总次数有关，因此边数增大时不会触发该问题。

• 运行时临时调整栈大小：通过环境变量OMP_STACKSIZE=16M设置OpenMP线程栈大小为16MB以上，或用ulimit -s调整进程栈上限，该方案可移植性差，不推荐生产环境使用。
• 手动实现堆上的并行计数，规避内置数组归约的栈分配问题，参考实现：

#pragma omp parallel
{
    // 每个线程在堆上分配私有计数数组，初始化为0
    std::vector<uint64_t> local_cnt(num_vertices + 2, 0);
    // 并行遍历边列表，用私有数组计数，无竞争
    #pragma omp for
    for (uint64_t i = 0; i < num_edges; i++) {
        local_cnt[std::get<0>(e_list[i]) + 1]++;
    }
    // 单线程合并所有私有计数到全局row_ptr
    #pragma omp critical
    for (uint64_t j = 0; j < num_vertices + 2; j++) {
        row_ptr[j] += local_cnt[j];
    }
}

• 升级编译器到GCC 10+、Clang 12+版本，新版编译器已经修复该问题，大尺寸归约数组会自动分配在堆上，不会触发栈溢出。

内容的提问来源于stack exchange，提问作者gabrielekarra