PETSc MatShell混合OpenMP与MKL多线程CPU利用率问题求助

• 检查PETSc与MKL的线程数配置冲突
  PETSc默认会接管底层BLAS/MKL的线程管理，可能强制限制MKL线程数为1。你可以通过两种方式调整：

  • 运行程序时通过命令行参数指定MKL线程数：-mat_mkl_num_threads 46（假设OpenMP用2个线程，总和匹配48核）
  • 在Fortran代码中显式设置：

    call PetscOptionsSetValue(NULL, "-mat_mkl_num_threads", "46", ierr)
    

  同时确保环境变量MKL_NUM_THREADS=46和OMP_NUM_THREADS=2的设置没有被PETSc覆盖，避免总线程数超过服务器核心数导致调度问题。

• 避免嵌套并行的自动禁用
  如果在OpenMP并行区域内调用MKL多线程BLAS函数，MKL可能会自动禁用自身多线程（防止嵌套并行开销）。解决思路二选一：

  • 让OpenMP负责外层并行，MKL用单线程：设置MKL_NUM_THREADS=1，把所有并行任务交给OpenMP管理
  • 允许嵌套并行：设置环境变量OMP_NESTED=TRUE和MKL_DYNAMIC=FALSE，但需要测试性能，嵌套并行可能带来额外开销，不一定适合所有场景

• 确认MatShell算子的线程安全与PETSc并行模式
  确保你的MatShell自定义算子是线程安全的，PETSc没有强制单线程执行该算子。可以通过调用PetscGetNumThreads()和PetscGetMaxThreads()检查PETSc内部线程设置，确认没有限制MKL的线程资源分配。另外，如果使用MPI并行，要保证每个MPI进程分配的线程数总和不超过服务器核心数。

• 验证MKL是否被实际调用
  用mkltrace工具追踪MKL函数调用，确认你的MatShell算子里的BLAS操作确实触发了MKL库的调用。同时检查编译链接环节是否正确链接了多线程MKL库，避免误用到单线程BLAS实现。

内容的提问来源于stack exchange，提问作者Astor