Python读写多小.npy文件与单大.npy文件的性能差异及优化疑问

会显著提升运行速度，核心原因完全和磁盘I/O以及文件系统特性直接相关，具体拆解为以下几点：

• 砍掉重复的磁盘寻道与元数据开销：不管是机械硬盘还是SSD，读写单个小文件时，都需要先完成文件元数据查询（比如找到文件的存储位置）、磁盘寻道（机械硬盘移动磁头，SSD定位存储单元），这些操作的耗时远超过实际读写小文件数据的时间。数百万个小文件意味着要重复数百万次这类操作，累计开销极其可观。合并成大文件后，只需要几次甚至一次元数据查询和寻道就能完成批量读写，直接消除了重复的额外开销。
• 充分利用磁盘连续读写的高带宽：磁盘（包括SSD）的连续读写速度比随机读写快几个数量级。小文件的存储位置通常是碎片化的，属于随机IO场景；合并后的大文件基本是连续存储的，读写时能充分发挥磁盘的连续传输能力，数据吞吐量大幅提升。
• 降低文件系统的管理压力：每个小文件都会占用文件系统的元数据资源（比如inode），数百万个小文件会让文件系统的元数据变得臃肿，查询和访问元数据的延迟会明显增加。合并成大文件后，元数据量骤减，文件系统的管理效率会恢复正常。
• 减少Python层面的循环开销：现有代码需要循环打开、读取、关闭数百万个小文件，Python的循环本身就有一定性能损耗，加上频繁的文件IO系统调用，进一步拖慢了速度。合并成大文件后，可以用NumPy的批量读写接口（比如np.load直接读取整个大数组，或通过切片读取指定部分数据），彻底避免了大量循环操作的开销。

如果是.png图像文件，合并成大文件（比如使用HDF5格式封装，或自定义批量存储结构）也能获得类似的性能提升，不过需要注意图像数据的压缩方式和批量读取的兼容性。

内容的提问来源于stack exchange，提问作者Kaushik J