并行反斜杠矩阵求逆：为何加速比远超预期？

我用隐式格式求解PDE，每个时间步拆成两个矩阵求解，二者通过边界条件关联。尝试用多进程同时对两个矩阵求逆加速，写了最小示例代码。实际测试并行版比单进程快6倍，但预期只有2倍，问题出在哪？

using Distributed
using LinearAlgebra

function backslash(N, T, b, exec)
    A = zeros(N,N)
    α = 0.1
    for i in 1:N, j in 1:N
        abs(i-j)<=1 && (A[i,j]+=-α)
        i==j && (A[i,j]+=3*α+1)
    end

    A = Tridiagonal(A)
    a = zeros(N, 4, T)

    if exec == "parallel"
        for i = 1:T
            @distributed for j = 1:2
                a[:, j, i] = A\b[:, i]
            end
        end
    elseif exec == "single"
        for i = 1:T
            for j = 1:2
                a[:, j, i] = A\b[:, i]
            end
        end
    end
    return a
end

b = rand(1000, 1000)

a_single = @time backslash(1000, 1000, b, "single");
a_parallel = @time backslash(1000, 1000, b, "parallel");

a_single == a_parallel

原因分析 #

1. 单进程版存在冗余计算
   单进程代码中，每个时间步i都重复执行了2次完全相同的A\b[:,i]求解，总计算量是2*T次矩阵求解。你预期的2倍加速是基于“每个时间步并行处理2次独立计算”的假设，但实际上单进程做了双倍的无用功，这直接拉高了并行版的相对加速比。

2. 并行版的任务并行范围远超预期
   代码中的@distributed for j=1:2没有配合@sync使用，导致外层的for i=1:T循环会异步提交所有i对应的j任务到进程池。这意味着所有2*T次求解任务都被并行化处理，而不是每个时间步仅并行2次任务。如果你的机器有6个可用核心，就会接近6倍的加速比，而非预期的2倍。

3. 矩阵求解的低开销特性放大了并行效果
   你使用的是三对角矩阵的\运算，Julia的LinearAlgebra对这类矩阵有专门优化，且单次求解的计算量足够大，进程间的调度开销可以忽略，因此并行效率很高，加速比接近核心数。

验证与修正 #

• 修正单进程代码，去掉冗余计算：每个时间步只计算一次A\b[:,i]，再赋值给j=1和j=2，这样单进程的运行时间会减半，此时并行版的加速比会接近2倍（如果仅每个时间步并行2次任务）。
• 如果想严格控制每个时间步仅并行2次任务，需要在外层循环中添加@sync，确保每个时间步的两个任务完成后再进入下一个时间步：

  if exec == "parallel"
      for i = 1:T
          @sync @distributed for j = 1:2
              a[:, j, i] = A\b[:, i]
          end
      end
  end
  

内容的提问来源于stack exchange，提问作者lhcgeneva