You need to enable JavaScript to run this app. Python用joblib/multiprocessing/Ray并行predict仅占单核无提速
优惠活动
大模型
产品
解决方案
定价
更多

Python用joblib/multiprocessing/Ray并行predict仅占单核无提速

神经网络预测任务并行加速问题

初始实现与运行现状

  • 核心任务特征:自带神经网络模型的predict()方法,处理65536行规模的样本数据集时,串行执行总耗时约7秒
  • 初始实现目标:参考公开教程思路,通过joblib.parallel_backend工具实现并行提速
  • 初始实现代码:
import numpy as np
from joblib import load, parallel_backend
from time import clock as time
import os
from urllib.request import urlopen

NN_model=load(urlopen("http://clima-dods.ictp.it/Users/tompkins/CRM/nnet_3var.jl"))

npt=65536
t=np.random.uniform(low=-1,high=1,size=npt)
u=np.random.uniform(low=-1,high=1,size=npt)
q=np.random.uniform(low=-1,high=1,size=npt)
X=np.column_stack((u,t,q))

t0=time()
out1=NN_model.predict(X)
os.system('taskset -cp 0-%d %s' % (ncore, os.getpid()))

t1=time()
print("serial",t1-t0)
with parallel_backend('threading', n_jobs=-1):
    out2=NN_model.predict(X)
t2=time()
print("parallel",t2-t1)
  • 实际运行耗时结果:
serial   6.481805
parallel 6.389198
  • 观测到的异常:
    • 按经验判断,小体量任务并行会受共享内存通信开销限制无法提速,但本次任务串行耗时达7秒,远高于并行产生的额外开销,理应获得提速效果
    • 主机负载监控显示,代码运行全程仅占用单核算力,没有实现真正的并行
  • 核心诉求:排查当前joblib并行配置的问题,基于joblib或其他可落地方案,在桌面端实现该预测任务的多线程并行加速

已完成的优化尝试及效果

第一次尝试:joblib手动分块调度

  • 调整思路:判定joblib默认并行逻辑未针对样本数据做分块分发,改用Parallel与delayed接口,按8核心规模将全量数据拆分为8个等大小块,分别传入predict()计算
  • 实现代码:
from joblib import Parallel, delayed 

ncore    = 8
nchunk   = int( npt / ncore )
parallel = Parallel( n_jobs = ncore )
results  = parallel( delayed( NN_model.predict )
                            ( X[i*nchunk:(i+1)*nchunk,:] )
                     for i in range( ncore )
                     )
  • 运行结果:主机侧虽然启动了8个计算进程,但每个进程的CPU运行效率仅为单进程的1/8,整体墙钟时间没有获得优化

第二次尝试:multiprocessing手动分块+CPU亲和性绑定

  • 调整思路:换用multiprocessing库手动实现数据集分块并行,参考过往numpy任务中“CPU亲和性绑定错误、仅使用单核”的解决方案,在代码中加入taskset绑定核心的系统命令
  • 实现代码:
import multiprocessing 
import os

def predict_chunk(Xchunk):
    results=NN_model.predict(Xchunk)
    return results

pool=multiprocessing.Pool(processes=ncore)
os.system('taskset -cp 0-%d %s' % (ncore, os.getpid()))
stats=pool.starmap(predict_chunk,([X[i*nchunk:(i+1)*nchunk,:]] for i in range(ncore)))
res=np.vstack(stats).flatten()
pool.close()
pool.join()
  • 场景特性:任务本身属于天然可并行场景,除数据拆分与结果重组的固定开销外,没有额外的任务依赖
  • 运行结果:8个核心的平均CPU利用率仅为12%左右,受额外拆分与重组开销影响,整体运行耗时略高于串行版本

第三次尝试:Ray框架分块并行

  • 调整思路:换用Ray框架实现同类分块并行逻辑
  • 实现代码:
import ray

@ray.remote
def predict_chunk(Xchunk,start,end):
    results=NN_model.predict(Xchunk[start:end,:])
    return results

ray.init(num_cpus=ncore)
data_id=ray.put(X)
stats=ray.get([predict_chunk.remote(data_id,i*nchunk,(i+1)*nchunk) for i in range(ncore)])
res=np.vstack(stats).flatten()
  • 运行结果:系统侧同样启动了8个计算子进程,但所有子进程依然仅在单个CPU核心上运行,并行版本的总耗时高于串行版本

问题初步归因与运行环境

  • 初步判断:问题根源大概率与CPU亲和性异常有关,但过往的常规解决方案并未生效
  • 运行环境架构信息:
Linux hp6g4-clima-5.xxxx.it 4.15.0-124-generic #127-Ubuntu SMP Fri Nov 6 10:54:43 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux

内容的提问来源于stack exchange,提问作者ClimateUnboxed

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 12:06:04