使用LD_PRELOAD调试MPI_Send时，如何获取外部库调用的行号与次数？

问题原因 #

你用__FILE__、__LINE__这类宏无法拿到外部库中MPI_Send调用者的真实信息，是因为这些宏属于编译期展开的内容，在编译myMPI_Send.c时就已经被替换成当前文件的路径和行号，运行时无法追踪到实际调用者的上下文。

解决方案：栈回溯+调用次数统计 #

通过栈回溯获取调用者的内存地址，再将地址解析为对应的文件名和行号；同时用静态变量统计调用次数。

修改后的myMPI_Send.c代码 #

#define _GNU_SOURCE
#include <stdio.h>
#include <dlfcn.h>
#include <mpi.h>
#include <stdlib.h>
#include <execinfo.h>
#include <string.h>
#include <unistd.h>

// 静态变量统计调用次数
static int send_count = 0;

int MPI_Send(const void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm)
{
    send_count++;
    int (*original_MPI_Send)(const void *, int, MPI_Datatype, int, int, MPI_Comm);    
    original_MPI_Send = dlsym(RTLD_NEXT, "MPI_Send");    

    // 栈回溯获取调用者信息
    void *callstack[10];
    int frames = backtrace(callstack, 10);
    char **symbols = backtrace_symbols(callstack, frames);

    if (frames >= 2) {
        // 跳过当前的MPI_Send函数（callstack[0]），取真正的调用者callstack[1]
        char addr_buf[64];
        // 从符号字符串中提取地址（格式类似 ./libfoo.so(+0x1234) [0xabcdef]）
        if (sscanf(symbols[1], "%*[^(]%*[^0x]%x", (unsigned int*)&callstack[1]) == 1) {
            snprintf(addr_buf, sizeof(addr_buf), "%p", callstack[1]);
            // 调用addr2line解析地址为文件名和行号
            char cmd[256];
            snprintf(cmd, sizeof(cmd), "addr2line -e /path/to/your/external/library.so %s", addr_buf);
            printf("=== MPI_Send调用次数: %d ===\n", send_count);
            printf("调用者信息:\n");
            // 执行命令并输出结果
            system(cmd);
        }
    }

    free(symbols);
    printf(" Calling MPI_Send ************** \n");    
    return (*original_MPI_Send)(buf, count, datatype, dest, tag, comm);
}

关键说明 #

1. 栈回溯：backtrace函数获取当前调用栈的地址数组，backtrace_symbols将地址转换为包含函数名、库路径的字符串。
2. 地址解析：通过sscanf提取调用者的内存地址，再调用addr2line工具（需确保系统已安装），传入外部库的路径和地址，即可得到对应的文件名和行号。
3. 调用次数统计：用静态全局变量send_count，每次进入替换的MPI_Send时自增，确保跨调用持续计数。

编译与运行 #

1. 编译共享库时需添加-rdynamic选项，保留符号表便于地址解析：

gcc -shared -fPIC -rdynamic myMPI_Send.c -o myMPI_Send.so -ldl -lmpi

2. 运行程序时通过LD_PRELOAD加载替换库：

LD_PRELOAD=./myMPI_Send.so mpirun -np 2 ./your_mpi_program

注意事项 #

• 替换/path/to/your/external/library.so为实际的外部库路径。
• 如果你的程序是静态编译的，或者外部库没有保留调试信息（编译时未加-g），addr2line可能无法解析出准确的行号。
• 栈回溯的层数可根据实际调用深度调整callstack数组的大小。

内容的提问来源于stack exchange，提问作者Mariem