Distributed包迭代运行异常求助：无报错却停止生成文件

问题现象 #

• 单独调用GenerateMatrix函数正常：该函数通过分布式for循环构建SharedArray并做维度平均，返回100×4数组。
• 批量调用时异常：在IterateFiles函数中多次调用该函数，会随机在若干次迭代后停止生成文件，无任何错误提示。
• 进程状态异常：终端执行ps auxr查看，初始worker进程正常运行，后续worker进程消失，主进程julia -p 8 code.jl仍存在但无输出，已排除内存问题。

代码示例 #

GenerateMatrix函数 #

@everywhere function GenerateMatrix(H::sparsearray, indices::Array{Int}, a::Float64)
   Gavg = SharedArray{Float64}(100, length(indices))
   Z = Array{Float64}(undef, 100, 4)
   G = lu(a*sparse(I, size(H)) - H) # 生成与H同尺寸的分解对象
   @sync @distributed for i=1:length(indices)
          main_ind = indices[i]
          Gmain = G[:, main_ind]
           ...
          # 填充Gavg的其他循环操作
    end
    Z[:,1] = mean(G_avg, dims=2)
    # 生成Z[:,2]到Z[:,4]的其他操作
    return Z
 end

IterateFiles函数 #

using DelimitedFiles
function IterateFiles(a::Float64, N)
        for j=1:N
             ...
             # 创建H矩阵和对应的indices向量
             Z = GenerateMatrix(H, indices, a)
             if j==1
                 writedlm("Z_sample"*string(j), Z)
             else
                Zprev = readdlm("Z_sample"*string(j-1))
                Ztemp = (Zprev *(j-1)+ Z)/j  
                writedlm("Z_sample"*string(j), Ztemp)
                if (j-1)%1000 != 0 # 仅保留checkpoint文件，删除其他中间文件
                   rm("Z_sample"*string(j-1)) 
                end
        end

排查思路 #

• Worker进程崩溃检测：在主进程循环中定期调用workers()查看存活进程数，结合@fetchfrom尝试获取worker状态，定位是否有worker异常退出。
• 分布式任务错误捕获：在@distributed循环内部添加try-catch块，捕获子进程中的异常并记录，避免worker因未处理错误静默崩溃。
• SharedArray资源泄漏检查：每次调用GenerateMatrix后显式释放共享数组资源，排查是否因资源未释放导致worker耗尽资源退出。
• 文件IO竞争排查：文件读写和删除操作可能存在竞态，检查是否因前一次写入未完成就执行删除操作，导致进程阻塞。
• LU分解稳定性检查：lu(a*sparse(I, size(H)) - H)生成的分解对象可能存在数值不稳定，或多次迭代后内存积累，导致worker进程崩溃。

解决方案 #

1. 添加分布式任务错误捕获
   在分布式循环中加入异常处理，将错误信息输出到日志：

   @sync @distributed for i=1:length(indices)
       try
           main_ind = indices[i]
           Gmain = G[:, main_ind]
           ...
           # 填充Gavg的其他循环操作
       catch e
           @error "Worker $(myid()) 在迭代$i时失败" exception=e
       end
   end
   

2. 显式释放共享资源
   在GenerateMatrix函数末尾添加资源释放操作，避免内存泄漏：

   finalize(Gavg)
   finalize(G)
   return Z
   

3. 优化文件IO流程
   避免频繁读写小文件，改用内存缓存中间结果，仅在checkpoint时写入；删除文件前确保写入完成：

   writedlm("Z_sample"*string(j), Ztemp)
   flush("Z_sample"*string(j)) # 强制写入磁盘，确保操作完成
   if (j-1)%1000 != 0
       rm("Z_sample"*string(j-1)) 
   end
   

4. 监控并重启worker进程
   在IterateFiles循环中定期检查worker状态，若丢失则自动重启：

   if j % 100 == 0
       current_workers = workers()
       if length(current_workers) < 8
           addprocs(8 - length(current_workers))
           @everywhere include("你的代码文件.jl") # 重新加载函数定义
       end
   end
   

5. 优化数值计算稳定性
   对矩阵a*sparse(I, size(H)) - H计算条件数，若条件数过大，调整参数a或改用更稳定的分解方法（如正定矩阵使用cholesky）。

内容的提问来源于stack exchange，提问作者Greivin Alfaro