Julia并行计算中如何声明可多进程共享修改的DataFrame

Julia 基于Distributed模块的多进程采用分布式内存模型，不存在可跨进程直接原地修改的原生共享DataFrame实现。SharedArray仅支持连续内存存储的定长基础类型数组，DataFrame作为列存复合对象，无法直接包装为SharedArray跨进程写入。你当前写法的本质问题是：@everywhere声明的simulation_results会在每个工作进程中生成独立副本，循环内的append!仅修改当前进程的本地副本，主进程的变量始终保留初始空值，自然拿不到合并结果。

这是官方推荐的标准写法，完全不需要构造共享可变对象，无竞态问题、无额外锁开销，性能最好。核心逻辑是让每个进程负责本地计算，最终由框架自动收集所有进程的返回值统一聚合：

using Distributed, CSV, DataFrames
addprocs(length(Sys.cpu_info()))

@everywhere begin
  # 加载所有仿真需要的依赖包
  using DataFrames, CSV
  df = CSV.read("/path/data.csv", DataFrame)
  nsims = 100000
end

# 给@distributed指定聚合函数vcat，自动垂直拼接所有迭代的返回结果
simulation_results = @distributed (vcat) for sim in 1:nsims
    nsim_result = similar(df, 0)
    # 填入单轮仿真的计算逻辑，结果写入nsim_result
    nsim_result # 直接返回当前轮次的本地计算结果
end

运行结束后主进程的simulation_results就是所有仿真结果拼接完成的完整DataFrame。

如果总仿真量极大、单轮结果体积小，可以让每个工作进程先在本地合并自己负责的所有仿真结果，再一次性传回主进程，减少跨进程通信次数：

# 把总仿真任务按工作进程数分块
chunk_size = div(nsims, nworkers())
sim_chunks = Iterators.partition(1:nsims, chunk_size)

# pmap自动调度各进程处理分块任务
chunk_results = pmap(sim_chunks) do chunk
    local_chunk_res = similar(df, 0)
    for sim in chunk
        nsim_result = similar(df, 0)
        # 填入单轮仿真逻辑
        append!(local_chunk_res, nsim_result)
    end
    local_chunk_res
end

# 主进程把各分块结果合并为最终DataFrame
simulation_results = reduce(vcat, chunk_results)

如果你的业务逻辑必须在仿真运行过程中持续写入结果集，无法等任务结束后统一聚合，可以根据场景二选一：

• 预分配共享列存：提前计算所有仿真结果的总行数，为每一列创建对应类型的SharedArray，每个进程按预分配的索引偏移写入对应位置，所有任务跑完后直接用SharedArray列构造DataFrame。注意这种方式需要自行维护写入位置，避免多进程写同一段内存。
• 改用多线程模型：多线程为共享内存模型，所有线程可直接访问同一个DataFrame，仅需要加锁保护写入操作即可。启动Julia时需要指定线程数（如设置环境变量JULIA_NUM_THREADS=auto），示例代码：

using Base.Threads, CSV, DataFrames
df = CSV.read("/path/data.csv", DataFrame)
nsims = 100000
simulation_results = similar(df, 0)
write_lock = ReentrantLock()

@threads for sim in 1:nsims
    nsim_result = similar(df, 0)
    # 填入单轮仿真逻辑
    @lock write_lock append!(simulation_results, nsim_result)
end

注意：多线程写入因为存在锁竞争，性能通常低于无锁的多进程聚合方案，仅在仿真逻辑需要频繁访问大量共享数据时优先选用。

内容的提问来源于stack exchange，提问作者Moshi