Docker环境Python Pathos多进程并行代码CPU使用率封顶问题排查

排查步骤 #

• 首先验证ProcessPool实际启动的进程数：并行代码运行时，在工作容器内执行ps aux | grep python | wc -l，统计实际运行的Python进程数量。
  • 如果进程数仅为4，说明进程启动环节存在限制
  • 如果进程数接近30，说明单进程CPU使用率被限制，大概率是第三方库内部多线程抢占导致
• 检查容器内Python的os.cpu_count()返回值：如果返回值为4，说明Python读取到的可用CPU核数异常，pathos内部会自动限制进程数不超过该值
• 检查容器ulimit限制：在工作容器内执行ulimit -u，如果返回值小于30，说明用户进程数上限不足，无法启动足够多的工作进程
• 排查数值计算库的线程配置：如果你的并行函数用到了pandas、numpy、scipy等依赖MKL/OpenBLAS的数值库，这类库默认会开启多线程执行计算，当多进程和内部多线程叠加时，会出现资源争抢，操作系统会自动限制总CPU使用率在库默认的线程数（通常为4）附近

解决方案 #

1. 禁用数值库的内部多线程 #

在所有数值库导入之前，先设置如下环境变量，强制每个进程内的数值计算使用单线程：

import os
# 所有数值库导入前执行
os.environ["MKL_NUM_THREADS"] = "1"
os.environ["NUMEXPR_NUM_THREADS"] = "1"
os.environ["OMP_NUM_THREADS"] = "1"
os.environ["OPENBLAS_NUM_THREADS"] = "1"

# 再导入第三方库和业务代码
import pandas as pd
from pathos.multiprocessing import ProcessPool

2. 修复进程启动限制 #

• 如果os.cpu_count()返回值异常，可以在初始化ProcessPool时强制指定ignore_cpu_count=True参数，覆盖默认的核数限制
• 如果ulimit参数不足，在docker-compose.yaml的工作进程配置中增加ulimit配置：

services:
  worker:
    # 保留原有配置
    ulimits:
      nproc: 65535
      nofile:
        soft: 65535
        hard: 65535

3. 最小场景验证 #

使用纯CPU密集的测试代码排除业务逻辑影响，确认容器环境本身支持30核并行：

import os
os.environ["MKL_NUM_THREADS"] = "1"
os.environ["OMP_NUM_THREADS"] = "1"
from pathos.multiprocessing import ProcessPool
import time

def test_func(x):
    # 纯CPU计算，无IO、无第三方库调用
    res = 0
    for i in range(10**8):
        res += i
    return res

if __name__ == "__main__":
    print(f"os.cpu_count返回值：{os.cpu_count()}")
    pool = ProcessPool(nodes=30)
    st = time.time()
    pool.map(test_func, range(30))
    pool.close()
    pool.join()
    print(f"总耗时：{time.time() - st}")

如果测试代码可以跑满30核，说明问题出在业务函数的内部实现，需要排查是否存在IO等待、全局锁等限制。 #

内容的提问来源于stack exchange，提问作者hoola_huupsh