Python用joblib/multiprocessing/Ray并行predict仅占单核无提速
神经网络预测任务并行加速问题
初始实现与运行现状
- 核心任务特征:自带神经网络模型的
predict()方法,处理65536行规模的样本数据集时,串行执行总耗时约7秒 - 初始实现目标:参考公开教程思路,通过
joblib.parallel_backend工具实现并行提速 - 初始实现代码:
import numpy as np from joblib import load, parallel_backend from time import clock as time import os from urllib.request import urlopen NN_model=load(urlopen("http://clima-dods.ictp.it/Users/tompkins/CRM/nnet_3var.jl")) npt=65536 t=np.random.uniform(low=-1,high=1,size=npt) u=np.random.uniform(low=-1,high=1,size=npt) q=np.random.uniform(low=-1,high=1,size=npt) X=np.column_stack((u,t,q)) t0=time() out1=NN_model.predict(X) os.system('taskset -cp 0-%d %s' % (ncore, os.getpid())) t1=time() print("serial",t1-t0) with parallel_backend('threading', n_jobs=-1): out2=NN_model.predict(X) t2=time() print("parallel",t2-t1)
- 实际运行耗时结果:
serial 6.481805 parallel 6.389198
- 观测到的异常:
- 按经验判断,小体量任务并行会受共享内存通信开销限制无法提速,但本次任务串行耗时达7秒,远高于并行产生的额外开销,理应获得提速效果
- 主机负载监控显示,代码运行全程仅占用单核算力,没有实现真正的并行
- 核心诉求:排查当前joblib并行配置的问题,基于joblib或其他可落地方案,在桌面端实现该预测任务的多线程并行加速
已完成的优化尝试及效果
第一次尝试:joblib手动分块调度
- 调整思路:判定joblib默认并行逻辑未针对样本数据做分块分发,改用
Parallel与delayed接口,按8核心规模将全量数据拆分为8个等大小块,分别传入predict()计算 - 实现代码:
from joblib import Parallel, delayed ncore = 8 nchunk = int( npt / ncore ) parallel = Parallel( n_jobs = ncore ) results = parallel( delayed( NN_model.predict ) ( X[i*nchunk:(i+1)*nchunk,:] ) for i in range( ncore ) )
- 运行结果:主机侧虽然启动了8个计算进程,但每个进程的CPU运行效率仅为单进程的1/8,整体墙钟时间没有获得优化
第二次尝试:multiprocessing手动分块+CPU亲和性绑定
- 调整思路:换用
multiprocessing库手动实现数据集分块并行,参考过往numpy任务中“CPU亲和性绑定错误、仅使用单核”的解决方案,在代码中加入taskset绑定核心的系统命令 - 实现代码:
import multiprocessing import os def predict_chunk(Xchunk): results=NN_model.predict(Xchunk) return results pool=multiprocessing.Pool(processes=ncore) os.system('taskset -cp 0-%d %s' % (ncore, os.getpid())) stats=pool.starmap(predict_chunk,([X[i*nchunk:(i+1)*nchunk,:]] for i in range(ncore))) res=np.vstack(stats).flatten() pool.close() pool.join()
- 场景特性:任务本身属于天然可并行场景,除数据拆分与结果重组的固定开销外,没有额外的任务依赖
- 运行结果:8个核心的平均CPU利用率仅为12%左右,受额外拆分与重组开销影响,整体运行耗时略高于串行版本
第三次尝试:Ray框架分块并行
- 调整思路:换用Ray框架实现同类分块并行逻辑
- 实现代码:
import ray @ray.remote def predict_chunk(Xchunk,start,end): results=NN_model.predict(Xchunk[start:end,:]) return results ray.init(num_cpus=ncore) data_id=ray.put(X) stats=ray.get([predict_chunk.remote(data_id,i*nchunk,(i+1)*nchunk) for i in range(ncore)]) res=np.vstack(stats).flatten()
- 运行结果:系统侧同样启动了8个计算子进程,但所有子进程依然仅在单个CPU核心上运行,并行版本的总耗时高于串行版本
问题初步归因与运行环境
- 初步判断:问题根源大概率与CPU亲和性异常有关,但过往的常规解决方案并未生效
- 运行环境架构信息:
Linux hp6g4-clima-5.xxxx.it 4.15.0-124-generic #127-Ubuntu SMP Fri Nov 6 10:54:43 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
内容的提问来源于stack exchange,提问作者ClimateUnboxed
相关产品推荐
相关产品推荐

