Julia多线程数组读写的数据竞争问题及并行优化方案咨询

背景说明 #

我在构建随机死亡率模型的API，拟合阶段需要按年度独立优化参数kt——每个年份的目标函数f_obj_t(kt)只用到对应年份的数据，且依赖的年龄参数全程固定，完全可以并行处理。

现有实现的问题 #

当前用Channel收集优化结果，先把原始DataFrame按年份拆成子DataFrame存在字典里，再用@threads并行跑优化，最后把结果塞到Channel里。现在想知道能不能直接操作原始DataFrame，不用Channel，同时确认会不会有数据竞争。

可行方案：直接操作原始DataFrame #

完全可以直接修改原始DataFrame，不会有数据竞争——因为每个线程只读写对应年份的行，不同年份的行内存块完全不重叠，线程之间不会互相干扰。这样还能省掉Channel的调度开销，也不用复制子DataFrame浪费内存。

优化后的代码示例 #

function adjust_BMS!(mdf::DataFrame)
    years = unique(mdf.Year)
    # 提前生成各年份对应的行索引，避免循环里重复查找
    year_indices = Dict(y => findall(==(y), mdf.Year) for y in years)

    @threads for year in years
        idx = year_indices[year]
        # 取该年份的初始Kappa值（假设同一年份初始值一致）
        k0 = mdf.Kappa[idx[1]]
        println("Optimising [BMS] $year on Thread $(threadid())")
        
        # 目标函数直接操作原始DataFrame的指定行
        function obj_func(k)
            # 只更新当前年份的Kappa值
            mdf.Kappa[idx] .= k[1]
            # 让calculcate_deviance只处理当前年份的行，避免全表扫描
            return calculcate_deviance(k, mdf, idx)
        end

        # 同理，梯度函数也只处理指定索引的行
        grad_func = gen_gradient_func(mdf, idx)
        opt_result = optimize(obj_func, grad_func, [k0])
        
        # 直接把最优值写回原始DataFrame的对应行
        mdf.Kappa[idx] .= opt_result.minimizer[1]
    end
end

额外优化点 #

• 避免数据复制：原代码拆分子DataFrame会复制数据，改用索引直接操作原始表，节省内存。
• 缩小计算范围：修改calculcate_deviance和gen_gradient_func，让它们只处理传入的行索引对应的 data，不用遍历全表，速度更快。
• 去掉Channel开销：直接写回原始表，不用通过Channel传递结果，减少线程间的调度成本。

内容的提问来源于stack exchange，提问作者Ansaar Dollie