合并小文件为大文件能否提升PyTorch训练的数据加载速度？

是的，将300,000个小文件合并为300个左右的大文件绝对是更优的选择，你的假设完全正确——遍历更少的大文件确实比处理海量小文件速度快得多。

核心原因 #

• 磁盘IO开销差异：小文件的最大问题在于元数据读取和文件操作的累积开销。操作系统处理每个小文件时，都需要读取inode（存储文件元数据的结构）、执行打开/关闭操作，30万个文件的这类操作叠加后，耗时会远超过实际读取数据的时间。而大文件可以减少这类操作的频次，每次IO能读取连续的大块数据，降低磁盘寻道的时间占比，IO效率提升显著。
• PyTorch数据加载的瓶颈缓解：PyTorch的DataLoader在处理大量小文件时，即使开启多进程加载，进程间的文件资源竞争、频繁的进程切换都会拖慢加载速度。合并成大文件后，每个文件包含更多样本，加载时可以一次性读取批量数据，减少了文件操作的频次，多进程的利用率也会更高。
• 系统缓存的高效利用：操作系统的文件缓存对连续存储的大文件更友好。大文件的数据更容易被完整缓存到内存中，后续读取时直接从内存获取；而小文件因为存储分散，缓存命中率低，大部分读取操作仍需要访问磁盘。

实践建议 #

• 合并策略：按样本数量均衡划分，比如每个大文件对应1000个小文件的样本（300,000/300=1000），确保每个大文件的大小相对统一，避免出现单个文件过大导致内存压力的情况。
• 选择合适的存储格式：优先使用PyTorch原生的.pt格式，直接用torch.save()将拼接好的样本数组保存，加载时通过torch.load()快速读取；也可以选择HDF5、TFRecord这类支持批量数据存储和内存映射的格式，适合处理超大批量数据。
• 适配数据加载流程：自定义Dataset类时，只需遍历300个大文件，在__getitem__方法中按需从大文件中拆分单个样本。如果担心内存占用，可采用内存映射模式读取大文件（比如HDF5的mmap_mode），无需一次性加载整个文件到内存。

内容的提问来源于stack exchange，提问作者Messiah