Julia中SharedArray并行列操作的高效代码优化问询
代码改进方案
原有代码核心问题
@async与@distributed混用完全错误,@distributed无聚合函数时本身不会阻塞等待任务执行,加@async会导致主进程直接返回,无法保证所有计算完成- 输出SharedArray初始化冗余,先创建私有Array再转共享数组,多了一次全量内存拷贝
- 并行循环无等待机制,会出现结果不完整的问题
- 默认静态调度在任务负载波动时容易出现worker空闲等待,负载均衡性差
- 每列计算产生临时返回数组,额外占用内存
- 全局变量未加
const,编译器无法做全局优化
优化点说明
- 进程管理:改用
addprocs(auto=true)自动适配CPU核心数,避免手动计算核心数不准、重复添加已有worker的问题 - 并行同步:用
@sync包裹@distributed循环,确保所有worker任务执行完成后再返回,消除结果不完整的问题 - 内存优化:移除输出数组初始化的冗余
Array包裹,直接在共享内存分配空间,消除全量拷贝开销;将操作函数改为原地写入模式,完全消除每列计算的临时数组分配 - 编译优化:将所有worker依赖的代码放在同一个
@everywhere块中,给全局常量加const,减少运行时开销和编译时间 - 负载均衡:显式指定
schedule=:dynamic,动态分配任务给空闲worker,避免静态调度下的空等问题,适合列数较多的场景 - 视图优化:用
@views确保所有数组切片都是无拷贝的视图,消除隐式数据复制
改进后完整代码
using SharedArrays, Distributed # 自动添加合适数量的worker,避免重复添加 addprocs(auto=true) # 统一在所有worker上加载依赖、定义常量和原地操作函数 @everywhere begin using SharedArrays, Distributed const addConstant = 10000 # 原地写入输出列,无临时数组分配 function divideColByMeanConstant!(out_col::AbstractVector{Float64}, in_col::AbstractVector{Float64}) mean_val = mean(in_col) out_col .= in_col ./ mean_val .+ addConstant return nothing end end # 初始化输入输出共享数组 inputMAT = SharedArray(rand(10000,20000)) outputMAT = SharedArray{Float64,2}(undef, size(inputMAT)) # 核心并行计算函数 function Array2ArrayColumnwise_forloop!(output::SharedArray{Float64,2}, operation!::Function, input::SharedArray{Float64,2}, rowRange::AbstractVector{Int}, colRange::AbstractVector{Int}) # @sync 等待所有任务完成,@views 消除切片拷贝,dynamic 调度实现负载均衡 @sync @distributed schedule=:dynamic for colInd in colRange @views operation!(output[rowRange, colInd], input[rowRange, colInd]) end return nothing end # 测试索引用例 rowRange = [1,4,6,8,10,15] colRange = [1,4,5,6,7,10,15] Array2ArrayColumnwise_forloop!(outputMAT, divideColByMeanConstant!, inputMAT, rowRange, colRange)
补充说明
- 如果列数极少(比如少于10列),可移除
schedule=:dynamic,用默认的静态调度减少任务调度开销 - 所有切片操作均为内存视图,SharedArray本身为内存映射共享,全程无不必要的数据拷贝,达到最优的时间和内存效率
内容的提问来源于stack exchange,提问作者user14888999
相关产品推荐
相关产品推荐

