MPI 2D域分解并行化散热器热扩散代码调试求助

问题本质 #

2D域分解后，边角进程的邻域数据整合错误源于边界进程的邻域判断逻辑缺失，以及MPI_SendRecv的配对通信处理不当。以下是针对性的修复步骤：

1. 标准化2D进程网格与子域结构 #

先通过MPI的笛卡尔拓扑工具自动分解进程网格，给每个进程分配唯一坐标，同时为每个子域预留一层ghost边界（用于存储邻域进程的边界数据）：

int rank, size;
MPI_Comm_rank(MPI_COMM_WORLD, &rank);
MPI_Comm_size(MPI_COMM_WORLD, &size);

int dims[2] = {0, 0};
MPI_Dims_create(size, 2, dims); // 自动适配2D进程网格
int coords[2];
MPI_Comm cart_comm;
int periods[2] = {0, 0}; // 散热器为有限域，禁用周期性边界
MPI_Cart_create(MPI_COMM_WORLD, 2, dims, periods, 0, &cart_comm);
MPI_Cart_coords(cart_comm, rank, 2, coords);
int rank_i = coords[0], rank_j = coords[1];

2. 动态识别邻域进程（解决边角问题） #

用MPI_Cart_shift自动获取上下左右邻居，不存在的邻居设为MPI_PROC_NULL（MPI会自动跳过与该进程的通信），无需硬编码边角逻辑：

int north, south, west, east;
// 获取i方向（上下）邻居
MPI_Cart_shift(cart_comm, 0, 1, &north, &south);
// 获取j方向（左右）邻居
MPI_Cart_shift(cart_comm, 1, 1, &west, &east);

3. 正确实现MPI_SendRecv边界数据交换 #

针对ghost层分四个方向交换数据，使用MPI_Sendrecv避免死锁，发送本地真实边界，接收邻居的ghost数据：

// 假设local_temp[local_nx+2][local_ny+2]为带ghost层的本地温度数组
// 上下方向交换
MPI_Sendrecv(&local_temp[1][1], local_ny, MPI_DOUBLE, north, 0,
             &local_temp[0][1], local_ny, MPI_DOUBLE, north, 0,
             cart_comm, MPI_STATUS_IGNORE);
MPI_Sendrecv(&local_temp[local_nx][1], local_ny, MPI_DOUBLE, south, 1,
             &local_temp[local_nx+1][1], local_ny, MPI_DOUBLE, south, 1,
             cart_comm, MPI_STATUS_IGNORE);

// 左右方向交换
MPI_Sendrecv(&local_temp[1][1], local_nx, MPI_DOUBLE, west, 2,
             &local_temp[1][0], local_nx, MPI_DOUBLE, west, 2,
             cart_comm, MPI_STATUS_IGNORE);
MPI_Sendrecv(&local_temp[1][local_ny], local_nx, MPI_DOUBLE, east, 3,
             &local_temp[1][local_ny+1], local_nx, MPI_DOUBLE, east, 3,
             cart_comm, MPI_STATUS_IGNORE);

4. 简化邻域温度计算逻辑 #

更新温度时仅处理本地真实区域（local_temp[1..local_nx][1..local_ny]），直接使用ghost层数据作为邻域值，无需额外判断边角：

double new_temp[local_nx+2][local_ny+2];
const double alpha = 0.01; // 热扩散系数，根据实际场景调整
for (int i = 1; i <= local_nx; i++) {
    for (int j = 1; j <= local_ny; j++) {
        new_temp[i][j] = local_temp[i][j] + alpha * (
            local_temp[i-1][j] + local_temp[i+1][j] +
            local_temp[i][j-1] + local_temp[i][j+1] -
            4 * local_temp[i][j]
        );
    }
}
memcpy(local_temp, new_temp, sizeof(local_temp));

5. 结果验证方法 #

• 用小尺寸全局网格（如4x4）+2x2进程测试，输出每个进程的本地数据（含ghost层），对比串行代码的对应区域。
• 无热源/热 sink 场景下，检查全局温度总和的守恒性，并行与串行结果需一致。

内容的提问来源于stack exchange，提问作者Aisma