使用SWIG封装的含OpenMP的共享库函数在子进程调用时挂起的解决方法

看起来你碰到了OpenMP和Linux多进程fork机制的经典冲突问题，我来帮你理清楚根源，再给出几个可行的解决办法：

问题本质 #

当主进程第一次调用f()时，OpenMP会初始化它的线程池和内部运行时状态；而Linux的fork()系统调用只会复制主进程的主线程，那些已经启动的OpenMP工作线程并不会被复制到子进程中。子进程继承了一个残缺、混乱的OpenMP状态，导致后续调用并行区域时直接卡死或挂起——这就是为什么只让子进程调用时正常，主进程先调用再fork就出问题的原因。

方案1：改用multiprocessing的spawn启动方式（推荐，跨版本兼容） #

Linux下multiprocessing.Process默认用fork启动子进程，会继承父进程的所有内存状态（包括OpenMP的混乱状态）。改用spawn方式的话，子进程会启动一个全新的Python解释器，重新加载你的扩展库并初始化OpenMP运行时，完全避开状态继承的坑。

修改你的测试代码如下：

from multiprocessing import Process, set_start_method
import locks

def main():
    # 必须在创建任何进程前设置启动方式，且只能调用一次
    set_start_method('spawn')
    
    locks.f()
    print('Launching Process')
    p = Process(target=locks.f)
    p.start()
    p.join()
    print(p.exitcode)

if __name__ == '__main__':
    main()

这个方法对Python 3.6+都有效，而且不需要修改C代码或SWIG封装，是最省心的方案。

方案2：fork前清理OpenMP运行时（GCC专属） #

如果你必须用fork启动方式，可以借助GCC私有的OpenMP清理函数，在fork前把主进程的OpenMP状态彻底清空，让子进程继承一个未初始化的干净状态。

步骤1：修改SWIG封装文件locks.i #

添加对GOMP_cleanup()的封装：

%module locks
%{
#define SWIG_FILE_WITH_INIT
#include "locks.h"
// 声明GCC的OpenMP清理函数
extern void GOMP_cleanup(void);
%}

void f(void);
void GOMP_cleanup(void);

步骤2：重新编译扩展库 #

swig -python locks.i
gcc -fPIC -shared -I/usr/include/python3.6/ -fopenmp locks.c locks_wrap.c -g -o _locks.so

步骤3：修改测试代码 #

在fork前调用清理函数：

from multiprocessing import Process
import locks

locks.f()
print('Launching Process')
# 清理主进程的OpenMP运行时状态
locks.GOMP_cleanup()
p = Process(target=locks.f)
p.start()
p.join()
print(p.exitcode)

注意：GOMP_cleanup()是GCC的私有API，换用Clang等其他编译器可能失效，兼容性不如方案1。

方案3：修改C代码重置OpenMP状态 #

你也可以在C函数里每次并行区域结束后，手动重置OpenMP的线程设置，尽可能减少状态残留：

#include <stdio.h>
#include <omp.h>

void f(void) {
    // 先禁用动态线程调整，确保线程数稳定
    omp_set_dynamic(0);
    #pragma omp parallel
    {
        fprintf(stderr, "Hello World!\n");
    }
    // 强制重置线程数为1，触发线程池清理
    omp_set_num_threads(1);
    return;
}

不过这个方法只能缓解问题，核心的fork状态继承问题还是存在，所以优先级不如前两个方案。

验证效果 #

用方案1修改后的代码，不管是Python 3.6还是3.8，都应该能正常输出主进程的8次Hello World!，然后子进程的8次Hello World!，最后打印0（正常退出码）。

内容的提问来源于stack exchange，提问作者Baum mit Augen