未调用的list_push代码导致跨节点MPI程序运行失败求助

问题描述 #

我正在修改mpiP工具以记录MPI函数参数信息，添加了list_t结构体（定义在mpiPi.h）和对应的操作函数（在mpiPi.c中，从未调用过这些函数）。修改后，使用该mpiP追踪的MPI程序在单节点运行正常，但跨节点运行时全部失败，错误提示为ORTE守护进程启动后意外失败。注释掉list_push函数中的以下三行代码后，跨节点运行恢复正常：

list->data = (char*)realloc(list->data, list->capacity*sizeof(char));
strcpy(&list->data[list->size], item);
list->size = list->size + item_size;

环境信息：MPI 3.1.0、gcc 4.8.5、Linux 3.10.0-957.el7.x86_64

新增的代码片段 #

list_t结构体定义

typedef struct
{
  int size;
  int capacity;
  char *data;
} list_t;

相关操作函数

void list_init(list_t *list)
{
  list->size = 0;
  list->capacity = 65536;
  list->data = (char*)malloc(list->capacity*sizeof(char));
  if(list->data == NULL)
  {
    printf("error: insufficient memory for initializing list\n");
  }
}
void list_finalize(list_t *list)
{
  free(list->data);
}
void list_push(list_t *list, char *item)
{
  if (list == NULL) return;
  int item_size;
  item_size = strlen(item);
  if(list->size + item_size >= list->capacity) {
     list->capacity = list->capacity*2;
     list->data = (char*)realloc(list->data, list->capacity*sizeof(char));
  }
  if(list->data == NULL) {
    printf("error: insufficient memory for pushing an item\n");
  }
   else {
   strcpy(&list->data[list->size], item);
   list->size = list->size + item_size;
  }
}

问题分析 #

即使未调用list_push，跨节点运行仍失败，核心原因是函数内部存在未定义行为，且分布式运行环境（ORTE）的内存检查/布局比单节点更严格：

1. 内存越界的未定义行为：list_push中用strcpy写入数据时，未预留字符串终止符'\0'的空间。strlen(item)返回的是不含终止符的长度，当list->size + item_size == list->capacity时，strcpy会写入item_size+1个字节（含终止符），直接越界访问缓冲区。gcc 4.8.5编译这类存在未定义行为的代码时，可能生成不符合预期的二进制指令，在单节点环境下未触发异常，但跨节点的ORTE守护进程环境中触发了内存错误。
2. 动态库加载的隐性影响：mpiP是通过LD_PRELOAD加载的动态库，ORTE启动进程时会提前加载该库。即使函数未被调用，编译器生成的函数代码中的异常逻辑（如越界操作的指令）可能在库加载、符号解析阶段被间接触发，或者改变了库的二进制结构，导致ORTE加载失败。

解决方案 #

1. 修复list_push中的未定义行为 #

针对字符串存储的逻辑，调整代码避免内存越界：

• 如果是将多个字符串拼接为连续缓冲区（不需要保留终止符）：将strcpy改为memcpy，避免写入终止符，同时扩容判断保持原逻辑：

  memcpy(&list->data[list->size], item, item_size);
  list->size += item_size;
  

• 如果需要保留每个字符串的终止符：修改扩容判断条件，预留终止符空间，同时更新size的计算：

  // 扩容判断时预留终止符的1字节空间
  if(list->size + item_size + 1 >= list->capacity) {
     list->capacity *= 2;
     list->data = (char*)realloc(list->data, list->capacity*sizeof(char));
  }
  // ...
  strcpy(&list->data[list->size], item);
  list->size += item_size + 1; // 加上终止符的长度
  

2. 调整编译选项 #

• 暂时降低gcc优化等级（如从-O2改为-O0），验证是否是优化触发了未定义行为的异常。
• 确保mpiP编译时添加了-fPIC选项，生成位置无关代码，适配动态库的加载要求。

3. 排查ORTE详细日志 #

设置ORTE环境变量获取更详细的错误信息，定位具体失败点：

export orte_base_help_aggregate=0
export OMPI_DEBUG=verbose

运行MPI程序后查看日志，确认是内存访问错误、符号解析问题还是其他环境兼容性问题。

内容的提问来源于stack exchange，提问作者marcocr xu