如何追踪MPI集体例程中的单个点对点（p2p）通信事件？

我想了解MPI集体例程底层基于点对点（p2p）例程实现时，构成这些集体例程的各类p2p事件细节——包括发送方、接收方、消息大小，以及具体哪些进程秩（rank）之间存在通信。请问有没有工具可以追踪这类事件？如果没有工具，还有其他实现方式吗？

一、专用追踪工具 #

• MPI原生性能分析工具：
  • mpiP：可拦截所有MPI调用，包括集体通信拆解后的底层p2p操作，输出每个进程的通信事件日志，涵盖发送/接收进程对、消息大小等核心信息。
  • Intel Trace Collector (ITC)：能捕捉MPI通信的完整执行轨迹，将集体操作拆解为细粒度的p2p事件，搭配Intel Trace Analyzer可可视化查看各进程间的通信链路与参数细节。
  • TAU Performance System：支持对MPI集体通信进行细粒度追踪，通过配置可强制记录底层p2p调用的关键参数，生成的报告能清晰展示不同rank间的通信关系。
• 动态插桩工具：
  • Pin或Dyninst这类工具可对MPI库的p2p核心函数（如MPI_Send、MPI_Recv）进行动态插桩，在函数调用时自动记录发送方rank、接收方rank、消息长度等信息，无论集体例程的封装逻辑如何，只要底层调用了这些p2p函数就能被捕捉。

二、手动实现与调试方案 #

若无法使用工具，可通过以下方式获取信息：

• 修改开源MPI库源码：针对OpenMPI、MPICH这类开源MPI库，直接修改其集体通信模块的实现代码，在底层p2p调用的位置添加日志输出逻辑，记录通信的关键参数。编译修改后的库并运行程序，即可得到完整的p2p事件详情。
• 自定义MPI包装函数：自行封装MPI_Send、MPI_Recv等p2p函数，在包装函数内添加日志记录代码，通过预编译指令让程序优先链接自定义包装函数而非原生MPI函数。当集体例程调用底层p2p操作时，会触发日志逻辑，从而获取通信信息。
• 小规模进程调试：在2-4个rank的小型集群环境下运行程序，使用gdb等调试器为MPI_Send、MPI_Recv设置断点，每次触发断点时手动查看当前进程rank、目标rank、消息大小等参数，逐步梳理出集体通信的p2p交互关系。

内容的提问来源于stack exchange，提问作者Vishal Deka