OpenMP并行测试性能反常：线程越多耗时越长问题排查

问题描述 #

我在测试OpenMP基础并行性时遇到了一个反常现象：使用四核i5处理器，线程数越多，程序耗时反而显著增长，尽管数组计数结果是准确的。

原始测试代码 #

#include<stdio.h>
#include<omp.h>
#include<stdlib.h>
#include <time.h>
int main(){
    long i;
    long x[] = {0,0,0,0};
    omp_set_num_threads(4);
    clock_t time=clock();
    #pragma omp parallel for
    for(i=0;i<100000000;i++){
        x[omp_get_thread_num()]++;
    }
    double time_taken = (double)(clock() - time) / CLOCKS_PER_SEC;
    printf("%ld %ld %ld %ld %lf\n",x[0],x[1],x[2],x[3],time_taken);
}

测试结果（编译命令：gcc -o test test.c -fopenmp） #

• 线程数1：输出 100000000 0 0 0 0.203921，耗时0.20s
• 线程数2：输出 50000000 50000000 0 0 0.826322，耗时0.83s（比单线程慢）
• 线程数3：输出 33333334 33333333 33333333 0 1.448936，耗时1.45s
• 线程数4：输出 25000000 25000000 25000000 25000000 1.919655，耗时1.92s（耗时是单线程的9倍多）

我最初怀疑是omp_get_thread_num()的原子性导致，但不确定是否有其他遗漏点。

问题根源：缓存行伪共享（False Sharing） #

这个现象的核心原因是伪共享：

• 原始代码中，数组x的4个long类型元素是连续存储的，每个long占8字节，4个元素总共32字节，远小于常见的CPU缓存行大小（通常是64字节），所以这4个元素会被加载到同一个缓存行中。
• 当多个线程同时修改不同的x元素时，每个线程的写操作都会触发缓存一致性协议（比如MESI），导致整个缓存行失效。其他线程需要重新从主内存加载该缓存行，这种频繁的缓存同步带来了巨大的开销，线程越多，冲突越频繁，性能下降越明显。
• omp_get_thread_num()本身没有原子性问题，它只是返回当前线程的ID，开销可以忽略不计。另外，clock()函数测量的是CPU总时间（所有线程的CPU时间累加），这也会让多线程的耗时看起来比实际更夸张，这也是一个次要因素。

解决方案：避免伪共享 #

要解决伪共享，我们需要让每个线程访问的数据独占一个缓存行。具体做法是在不同线程的计数元素之间添加足够的间隔，确保它们不会被放入同一个缓存行。

修改后的代码 #

#include<stdio.h>
#include<omp.h>
#include<stdlib.h>
int main(){
    long i, t_id, fact=1096;
    long x[fact*4];
    x[0]=x[fact]=x[2*fact]=x[3*fact]=0;
    omp_set_num_threads(4);
    double time = omp_get_wtime();
    #pragma omp parallel for private(t_id)
    for(i=0;i<100000000;i++){
        t_id = omp_get_thread_num();
        x[t_id*fact]++;
    }
    double time_taken = omp_get_wtime() - time;
    printf("%ld %ld %ld %ld %lf\n",x[0],x[fact],x[2*fact],x[3*fact],time_taken);
}

关键修改点 #

1. 添加内存间隔：用fact=1096作为间隔，确保每个线程的计数元素x[t_id*fact]处于独立的缓存行（只要间隔大于64字节即可，这里选1096是为了确保足够的间隔）。
2. 改用omp_get_wtime()：这个函数专门用于测量并行程序的墙钟时间，结果更准确，不会累加多线程的CPU时间。
3. 私有变量存储线程ID：将t_id声明为私有变量，减少重复调用omp_get_thread_num()的开销（虽然影响较小，但更规范）。

修改后的测试结果 #

• 线程数1：输出 100000000 0 0 0 0.250205，耗时0.25s
• 线程数2：输出 50000000 50000000 0 0 0.154980，耗时0.15s（比单线程快）
• 线程数3：输出 33333334 33333333 33333333 0 0.078874，耗时0.08s
• 线程数4：输出 25000000 25000000 25000000 25000000 0.061155，耗时0.06s（性能随线程数增加而提升，符合预期）

总结 #

伪共享是多核并行编程中容易忽视的性能陷阱，当多个线程频繁修改共享内存中同一缓存行的不同数据时，会引发严重的缓存同步开销。通过调整数据布局，让每个线程访问的数据独占一个缓存行，就能有效解决这个问题。同时，选择合适的计时函数也能让性能测试结果更准确。

内容的提问来源于stack exchange，提问作者pritam_coder