MPI代码段的复制与共享机制及自定义类数据共享方案咨询

一、代码段共享/复制与进程生成问题 #

首先明确MPI的核心执行模型是SPMD（单程序多数据）：所有进程（包括你说的worker）是在你通过mpiexec/mpirun等命令启动MPI程序时就全部创建完成的，不是在代码中的某一行生成。每个进程都会独立执行整个程序的代码逻辑，只是通过MPI_Comm_rank获取的rank值来区分不同进程的行为。

针对你标记的四个代码段：

• Section 1（main外的全局代码）：每个进程启动时会独立加载并初始化这部分代码，全局变量会在每个进程的内存空间中拥有独立副本（操作系统可能会共享只读的代码段，但数据段是每个进程独立的），属于每个进程复制执行/拥有。
• Section 2（MPI_Init前的main内代码）：所有进程已经存在，每个进程都会执行这部分代码，属于每个进程复制执行。
• Section 3（MPI_Init后到MPI_Finalize前）：每个进程都会执行这部分代码，你可以通过rank值编写分支逻辑让不同进程做不同的事，但代码本身是每个进程独立执行的，属于每个进程复制执行。
• Section 4（MPI_Finalize后的代码）：每个进程在完成MPI环境清理后，都会执行这部分代码，属于每个进程复制执行。

二、自定义类数据结构只读共享的最佳实现 #

针对你的需求——每次执行取值不同、无法用标准MPI传递的自定义类数据结构，让所有进程只读访问，推荐以下几种方案：

1. MPI共享内存窗口（MPI-3+，推荐大数据结构） #

利用MPI的共享内存机制，让rank 0进程创建一块共享内存区域，初始化你的自定义类数据结构，其他进程通过映射该共享内存区域直接访问数据：

• 注意事项：自定义类的内存必须是连续布局，不能包含指向进程私有堆内存的指针（否则其他进程无法访问指针指向的内容）。如果类有动态成员，需要先将整个数据结构序列化到连续内存块再放入共享内存。
• 核心API示例：

  MPI_Win win;
  void* shared_ptr;
  int size = sizeof(YourCustomClass);
  
  // rank 0创建共享内存并初始化对象
  if (rank == 0) {
      MPI_Win_allocate_shared(size, sizeof(char), MPI_INFO_NULL, MPI_COMM_WORLD, &shared_ptr, &win);
      new (shared_ptr) YourCustomClass(/*初始化参数*/);
  } else {
      // 其他进程获取共享内存地址并映射
      MPI_Win_allocate_shared(0, sizeof(char), MPI_INFO_NULL, MPI_COMM_WORLD, &shared_ptr, &win);
      MPI_Aint shared_size;
      int disp_unit;
      MPI_Win_shared_query(win, 0, &shared_size, &disp_unit, &shared_ptr);
  }
  
  // 所有进程通过shared_ptr只读访问自定义类对象
  YourCustomClass* data = static_cast<YourCustomClass*>(shared_ptr);
  
  // 使用完后销毁共享窗口
  MPI_Win_free(&win);
  

2. 进程启动时的全局只读初始化（适合小数据结构） #

如果数据结构可以在程序启动初期（比如Section 1/2，MPI_Init之前）就生成，且内容是只读的：

• 将数据结构声明为const全局变量，或者放入只读数据段。操作系统会利用写时复制机制，让所有进程共享这部分内存页（因为是只读，不会触发复制）。
• 注意：数据结构不能包含动态分配的内容，必须是编译时/启动时就能确定的连续内存结构。

3. 序列化后MPI广播（兼容性好） #

如果共享内存不可用，可将自定义类序列化成为连续字节流，再通过MPI_Bcast广播给所有进程：

• 自己实现序列化函数：将类的所有成员变量（包括嵌套成员）转换为字节数组；反序列化函数则将字节数组还原为类对象。
• 核心流程：

  YourCustomClass data;
  std::vector<char> buffer;
  
  // rank 0初始化数据并序列化
  if (rank == 0) {
      data = /*初始化你的数据*/;
      serialize(data, buffer); // 自定义序列化函数
  }
  
  // 广播序列化后的字节长度
  int buf_size = buffer.size();
  MPI_Bcast(&buf_size, 1, MPI_INT, 0, MPI_COMM_WORLD);
  
  // 其他进程分配缓冲区
  if (rank != 0) {
      buffer.resize(buf_size);
  }
  
  // 广播字节流
  MPI_Bcast(buffer.data(), buf_size, MPI_CHAR, 0, MPI_COMM_WORLD);
  
  // 非0进程反序列化为类对象
  if (rank != 0) {
      deserialize(buffer, data); // 自定义反序列化函数
  }
  

内容的提问来源于stack exchange，提问作者Setu