Python multiprocessing模块并行emcee无法占满全部可用CPU核心

以下是可直接落地的排查和优化步骤：

• 显式指定进程数量，不要依赖默认配置
  默认状态下emcee不会调用全部核心，初始化时要显式给multiprocessing池设置对应核心数，参考代码如下：

import os
# 注意：所有科学计算库的线程限制必须在导入numpy/scipy等之前设置
os.environ["OMP_NUM_THREADS"] = "1"
os.environ["MKL_NUM_THREADS"] = "1"
os.environ["OPENBLAS_NUM_THREADS"] = "1"
os.environ["VECLIB_MAXIMUM_THREADS"] = "1"
os.environ["NUMEXPR_NUM_THREADS"] = "1"

import emcee
import numpy as np
import multiprocessing as mp

# 你的自定义似然函数
def log_prob(x):
    return -0.5 * np.sum(x ** 2)

if __name__ == "__main__":
    ndim = 10 # 你的参数维度
    nwalkers = 240 # walker数量必须是核心数的2-3倍以上，80核建议至少设160
    
    # 初始化80进程的池
    with mp.Pool(processes=80) as pool:
        sampler = emcee.EnsembleSampler(nwalkers, ndim, log_prob, pool=pool)
        # 初始采样点
        p0 = np.random.randn(nwalkers, ndim)
        # 启动采样
        sampler.run_mcmc(p0, 10000, progress=True)

• 保证walker数量足够
  emcee的并行任务是按walker分配的，如果walker数量少于核心数，多余核心会完全空闲，80核场景建议walker数量≥160，才能保证所有核心都有任务可执行。
• 关闭科学计算库的内部多线程
  numpy、scipy、pytorch等科学计算库默认会开启多线程运算，会和multiprocessing的多进程产生资源竞争，导致实际调用的核心数被限制，必须在导入这些库之前设置对应的环境变量关闭内部多线程，对应配置已经写在上面的示例代码开头。
• 避免参数冲突
  emcee v3及以上版本不要同时设置threads参数和pool参数，两个参数会互相冲突，仅保留pool参数即可。
• 排查系统限制
  运行ulimit -u查看当前用户允许的最大进程数，如果数值低于100，需要调整系统用户进程数上限，避免进程创建失败导致核心数上不去。
• 优化似然函数效率
  如果单步似然函数的计算耗时低于1ms，多进程间的通信、调度开销会超过计算收益，也会出现核心利用率低的问题，这种场景建议先优化似然函数的计算速度，再做并行扩展。

内容的提问来源于stack exchange，提问作者havij farangi