h5py+MPI（并行HDF5）是否支持多进程同时写入？

核心结论 #

h5py结合MPI（基于HDF5的MPI-IO实现）确实支持不同进程同时写入独立的预创建数据集，并非仅串行执行请求。但实际能否获得性能提升，取决于文件系统、存储布局、初始化方式等多个关键条件。

关于你提到的50进程写入场景 #

当50个进程分别写入50个预分配、无重叠的独立数据集时，理论上这些写入操作是可以并行执行的——HDF5的MPI-IO会通过底层的并行文件系统接口，将不同进程的写入请求直接映射到磁盘的不同物理区域，无需全局串行排队。

你未获得性能提升的常见原因 #

• 文件系统瓶颈：普通本地磁盘（单HDD/SSD）的IO带宽是串行的，多进程并行写入会增加磁盘寻道次数，反而可能降低总吞吐量。只有在**并行文件系统（如Lustre、GPFS）**上，才能发挥MPI-IO的并行优势。
• 存储布局不合理：如果数据集采用非连续的分块存储（或块大小设置不当），多个数据集在磁盘上的物理位置交错，会导致随机IO开销抵消并行收益。预分配时应指定contiguous存储布局，确保每个数据集在磁盘上是连续的。
• MPI模式未正确启用：必须使用MPI驱动打开文件，否则即使是MPI进程，也会走单进程IO路径：

  import h5py
  from mpi4py import MPI
  
  comm = MPI.COMM_WORLD
  # 关键：使用mpio驱动并传入MPI通信子
  f = h5py.File("data.h5", "r+", driver="mpio", comm=comm)
  

• 单任务数据量过小：如果每个数据集的数据量很小，进程调度、MPI通信及HDF5元数据操作的开销会占主导，掩盖并行写入的性能收益。

验证并行有效性的建议 #

• 用HDF5自带工具h5debug检查文件的存储布局，确认各数据集是独立连续的。
• 在并行文件系统环境下测试，对比单进程与多进程的写入耗时。
• 增大每个数据集的数据量，让纯IO操作的时间远大于额外开销。

内容的提问来源于stack exchange，提问作者Autodidactyle