Julia多线程代码线程数增加耗时未降反增，是否存在问题？

核心代码 #

我参照Julia官方多线程指南编写了以下核心代码：

embryos = [fertilising_room(population_model) for _ in 1:POPULATION_SIZE]

chunks = Iterators.partition(embryos, length(embryos) ÷ nthreads())
tasks = map(chunks) do chunk
    @spawn get_offspring(chunk)
end
all_offspring = vcat([fetch(task) for task in tasks]...)

@info "All offspring -> $(length(all_offspring))"

测试结果 #

测试不同线程数的运行耗时如下：

% time julia examples/multi_only_crossover.jl 
  Activating project at `~/Code/julia/BraveNewAlgorithm.jl`
WARNING: using Distances.pairwise in module BraveNewAlgorithm conflicts with an existing identifier.
[ Info: Number of threads -> 1
[ Info: Reading parameters file
[ Info: All offspring -> 1000000
julia examples/multi_only_crossover.jl  7,25s user 0,31s system 114% cpu 6,629 total
% time julia --threads 2 examples/multi_only_crossover.jl
  Activating project at `~/Code/julia/BraveNewAlgorithm.jl`
WARNING: using Distances.pairwise in module BraveNewAlgorithm conflicts with an existing identifier.
[ Info: Number of threads -> 2
[ Info: Reading parameters file
[ Info: All offspring -> 1000000
julia --threads 2 examples/multi_only_crossover.jl  7,36s user 0,36s system 118% cpu 6,508 total
% time julia --threads 4 examples/multi_only_crossover.jl
  Activating project at `~/Code/julia/BraveNewAlgorithm.jl`
WARNING: using Distances.pairwise in module BraveNewAlgorithm conflicts with an existing identifier.
[ Info: Number of threads -> 4
[ Info: Reading parameters file
[ Info: All offspring -> 1000000
julia --threads 4 examples/multi_only_crossover.jl  7,88s user 0,35s system 134% cpu 6,139 total

问题分析与优化建议 #

你的代码写法本身没有语法错误，但多线程未带来预期加速甚至出现损耗，主要可能是以下原因：

• 任务粒度太小，调度开销抵消收益：用Iterators.partition拆分的chunk如果计算量不足，线程调度、任务切换的额外开销会超过并行计算的收益。比如当每个chunk处理的任务量太少，线程频繁切换反而拖慢整体速度。
• 线程安全问题：如果get_offspring函数内部存在全局变量修改、共享可变数据结构的竞争，会导致线程等待、锁竞争，降低并行效率。
• JIT编译干扰测试结果：Julia的即时编译特性会在首次运行时编译代码，单线程运行的耗时可能包含编译开销，后续多线程测试的耗时对比存在偏差。
• 缓存失效与同步开销：多线程并行时，数据在CPU缓存间的同步、失效会带来额外CPU开销，从测试数据里user时间随线程数增加也能看出这一点。

针对这些问题，可以尝试以下优化：

1. 调整任务粒度：改用Threads.@threads宏自动分配任务（调度更高效），或者增大每个chunk的规模，减少任务数量。例如：

   embryos = [fertilising_room(population_model) for _ in 1:POPULATION_SIZE]
   all_offspring = similar(embryos) # 提前分配同类型内存
   Threads.@threads for i in eachindex(embryos)
       all_offspring[i] = get_offspring_single(embryos[i]) # 改为单元素处理的函数
   end
   

2. 检查线程安全性：确保get_offspring内部没有修改全局变量，所有数据都是线程本地的；若必须共享数据，使用ReentrantLock等线程安全机制。
3. 预热代码后测试：先在Julia环境中运行一次代码完成JIT编译，再执行耗时测试，排除编译开销干扰。
4. 性能分析定位热点：用@profview或Profile模块分析代码耗时分布，明确是计算部分还是线程调度、同步占用了主要时间，针对性优化。

内容的提问来源于stack exchange，提问作者jjmerelo