MPI并行CSV处理问题：仅部分条目写入输出文件

针对你遇到的100条测试文件仅输出15条的问题，结合程序流程，从以下核心环节排查：

数据收集环节（MPI通信） #

• 核对MPI_Gather或MPI_Gatherv的参数：
  • 若使用MPI_Gather，必须保证所有进程的sendcount完全一致。如果进程分配的条目数不均（比如100条分给7个进程，部分进程15条、部分14条），硬用MPI_Gather会导致数据截断，此时必须换用MPI_Gatherv。
  • 若使用MPI_Gatherv，确认recvcounts数组是否准确记录了每个进程的实际条目数，displs数组的偏移计算是否正确（偏移量应为前序进程条目数的累加和），根进程的接收缓冲区容量是否能容纳所有条目总和。
  • 检查sendcount参数：是否错误传入了固定值15，而非每个进程实际读取的条目数变量。

根进程写入文件逻辑 #

• 检查写入循环的终止条件：有没有误把单进程的条目数（比如15）当成总条目数来循环，导致只写了一部分数据。
• 确认写入时的缓冲区指针偏移：每次写入后，指针是否正确移动到下一个条目位置，避免重复覆盖同一区域或跳过后续数据。

数据传输的序列化验证 #

• 如果自定义了CSV条目的MPI数据类型，检查MPI_Type_create_struct等注册逻辑是否正确，每个字段的字节数、偏移量是否匹配实际数据结构，否则会导致传输的数据错位，后续条目无法被正确解析。
• 在根进程收集完数据后，直接打印总条目数和随机几条数据内容，确认收集到的数据集是否完整覆盖100条，判断是传输丢失还是写入环节的问题。

数据分配与读取的一致性 #

• 虽然Debug显示各进程读取条目数正常，但可以让每个进程打印自己处理的行号范围，确认所有行号是否连续覆盖1-100，没有重叠或遗漏（比如文件分割时的偏移量计算错误，导致某部分数据未被分配到任何进程）。

内容的提问来源于stack exchange，提问作者rafik rharmaoui