MPI-IO使用MPI_File_write_at_all/MPI_File_write_all的读写异常问题

问题分析 #

需要实现MPI进程按rank顺序写入连续int数据：rank0写入3,5，rank1写入4,6，最终文件内容为3 5 4 6。两种现有方案的问题分别出在视图配置逻辑和偏移计算上，以下是针对性修复方案。

方案1：修复文件视图+MPI_File_write_all的读写逻辑 #

问题根源 #

写入时设置了进程专属文件视图，但读取时未对应调整视图，或视图的位移、数据类型配置有误，导致读取时进程访问的文件区域不匹配。

正确实现步骤 #

1. 打开文件：写入用MPI_MODE_CREATE | MPI_MODE_WRONLY，读取用MPI_MODE_RDONLY。
2. 设置视图：每个进程的视图起始位移为rank * 2 * sizeof(int)，数据类型对应连续2个int。
3. 集体写入：调用MPI_File_write_all写入各自缓冲区。
4. 读取验证：读取时重新设置对应视图，保证读写的视图规则一致。

代码示例 #

#include <mpi.h>
#include <iostream>
#include <vector>

int main(int argc, char** argv) {
    MPI_Init(&argc, &argv);
    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    const int elem_per_proc = 2;
    std::vector<int> send_buf(elem_per_proc);
    if (rank == 0) {
        send_buf = {3, 5};
    } else if (rank == 1) {
        send_buf = {4, 6};
    }

    // 写入流程
    MPI_File file;
    MPI_File_open(MPI_COMM_WORLD, "data.bin", MPI_MODE_CREATE | MPI_MODE_WRONLY, MPI_INFO_NULL, &file);

    MPI_Datatype file_type;
    MPI_Type_contiguous(elem_per_proc, MPI_INT, &file_type);
    MPI_Type_commit(&file_type);
    MPI_Offset disp = rank * elem_per_proc * sizeof(int);
    MPI_File_set_view(file, disp, MPI_INT, file_type, "native", MPI_INFO_NULL);

    MPI_File_write_all(file, send_buf.data(), elem_per_proc, MPI_INT, MPI_STATUS_IGNORE);

    MPI_File_close(&file);
    MPI_Type_free(&file_type);

    // 读取验证流程
    std::vector<int> recv_buf(elem_per_proc);
    MPI_File_open(MPI_COMM_WORLD, "data.bin", MPI_MODE_RDONLY, MPI_INFO_NULL, &file);

    MPI_Type_contiguous(elem_per_proc, MPI_INT, &file_type);
    MPI_Type_commit(&file_type);
    MPI_File_set_view(file, disp, MPI_INT, file_type, "native", MPI_INFO_NULL);

    MPI_File_read_all(file, recv_buf.data(), elem_per_proc, MPI_INT, MPI_STATUS_IGNORE);

    std::cout << "Rank " << rank << " read: ";
    for (int num : recv_buf) {
        std::cout << num << " ";
    }
    std::cout << std::endl;

    MPI_File_close(&file);
    MPI_Type_free(&file_type);

    MPI_Finalize();
    return 0;
}

方案2：修复MPI_File_write_at_all的偏移计算 #

问题根源 #

MPI_File_write_at_all的偏移参数是全局文件字节偏移，如果仅用rank乘以元素个数、未乘以sizeof(int)，会导致写入位置错位，进而出现结果不符合预期的情况。

正确实现步骤 #

1. 计算全局偏移：每个进程的写入起始偏移为rank * elem_per_proc * sizeof(int)。
2. 集体写入：调用MPI_File_write_at_all时传入正确的偏移、缓冲区、count和数据类型。
3. 读取验证：读取时用MPI_File_read_at_all指定对应偏移，保证读写位置匹配。

代码示例 #

#include <mpi.h>
#include <iostream>
#include <vector>

int main(int argc, char** argv) {
    MPI_Init(&argc, &argv);
    int rank, size;
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    MPI_Comm_size(MPI_COMM_WORLD, &size);

    const int elem_per_proc = 2;
    std::vector<int> send_buf(elem_per_proc);
    if (rank == 0) {
        send_buf = {3, 5};
    } else if (rank == 1) {
        send_buf = {4, 6};
    }

    // 写入流程
    MPI_File file;
    MPI_File_open(MPI_COMM_WORLD, "data.bin", MPI_MODE_CREATE | MPI_MODE_WRONLY, MPI_INFO_NULL, &file);

    MPI_Offset offset = rank * elem_per_proc * sizeof(int);
    MPI_File_write_at_all(file, offset, send_buf.data(), elem_per_proc, MPI_INT, MPI_STATUS_IGNORE);

    MPI_File_close(&file);

    // 读取验证流程
    std::vector<int> recv_buf(elem_per_proc);
    MPI_File_open(MPI_COMM_WORLD, "data.bin", MPI_MODE_RDONLY, MPI_INFO_NULL, &file);

    MPI_File_read_at_all(file, offset, recv_buf.data(), elem_per_proc, MPI_INT, MPI_STATUS_IGNORE);

    std::cout << "Rank " << rank << " read: ";
    for (int num : recv_buf) {
        std::cout << num << " ";
    }
    std::cout << std::endl;

    MPI_File_close(&file);

    MPI_Finalize();
    return 0;
}

关键注意事项 #

• 字节偏移计算：MPI-IO的偏移参数均为字节数，必须乘以对应数据类型的大小（如sizeof(int)），否则会导致数据错位。
• 文件视图一致性：使用MPI_File_set_view后，读写操作都会基于该视图，读取时需确保视图配置与写入时完全对应。
• 集体调用同步性：MPI_File_write_all和MPI_File_write_at_all都是集体操作，所有进程必须同步调用，不能仅部分进程执行。

内容的提问来源于stack exchange，提问作者velenos14