为何选用MPI_REDUCE而非MPI_ALLREDUCE？MPI编程新手疑问

核心区别回顾 #

• MPI_REDUCE：仅将归约结果发送至指定的root进程
• MPI_ALLREDUCE：将归约结果同步到所有进程

为什么你的测试没看到性能差异？ #

你的测试场景中，1e9次循环的计算耗时远大于通信开销，通信时间被完全掩盖了。要观察两者的性能差异，需要放大通信的占比：

• 大幅减少循环次数（比如把n改为1e4），让计算耗时可以忽略
• 重复执行归约操作数百/数千次，取平均时间来抵消单次测试的波动
• 测试更多进程数（比如10个以上），进程数量越多，广播环节的开销差异越明显

两者的使用优势与适用场景 #

MPI_REDUCE的优势 #

• 通信量更低：仅向root进程传递结果，无需后续广播。如果只有root进程需要最终结果，能节省不必要的通信资源
• 内存占用更少：非root进程无需存储最终结果（若后续逻辑不需要的话）
• 适合单进程处理最终结果的场景：比如仅root进程负责输出结果、写入文件或执行后续计算

MPI_ALLREDUCE的优势 #

• 无需额外广播：如果所有进程都需要最终结果，MPI_ALLREDUCE比MPI_REDUCE+MPI_BCAST的组合更高效——MPI实现通常会对MPI_ALLREDUCE做专门优化，延迟比手动组合两个操作更低
• 代码更简洁：省去手动编写广播逻辑的步骤，减少出错概率
• 适合所有进程需使用归约结果的场景：比如每个进程都要基于全局sum做下一步计算（如归一化、全局阈值判断）

优化测试代码的建议 #

要准确测试两者的性能差异，可对代码做如下修改：

program test
      use mpi
      IMPLICIT NONE
      integer:: ierr, num_procs, my_id, root
      integer:: sum=0, partialsum=0
      real:: starttime, endtime
      integer:: repeats, j
      root=0

      call MPI_INIT ( ierr )
      call MPI_COMM_RANK (MPI_COMM_WORLD, my_id, ierr)
      call MPI_COMM_SIZE (MPI_COMM_WORLD, num_procs, ierr)

      ! 直接赋值固定值，消除计算耗时干扰
      partialsum = my_id + 1
      repeats = 1000  ! 重复归约次数

      starttime = MPI_WTIME()
      do j = 1, repeats
            ! 切换注释测试两种操作
            call MPI_REDUCE(partialsum, sum, 1, MPI_INTEGER, MPI_SUM, ROOT, MPI_COMM_WORLD, ierr)
            ! call MPI_ALLREDUCE(partialsum, sum, 1, MPI_INTEGER, MPI_SUM, MPI_COMM_WORLD, ierr)
      enddo
      endtime = MPI_WTIME()

      ! 所有进程都输出平均耗时
      print*, "Process", my_id, "average time per operation:", (endtime - starttime)/repeats
     
      call MPI_FINALIZE ( ierr )
end program

总结 #

• 仅单个进程需要结果时，选MPI_REDUCE，节省通信资源
• 所有进程都需要结果时，选MPI_ALLREDUCE，比手动组合归约+广播更高效
• 性能差异在计算密集型任务中易被掩盖，需构造通信主导的测试场景才能清晰观察到

内容的提问来源于stack exchange，提问作者M.Malvagio