PyTorch DataLoader首轮epoch迭代异常缓慢问题求助

针对你遇到的仅在完整Kaggle谷歌地标识别2020数据集上出现首轮Epoch速度比后续慢10-30倍、首轮CPU核心利用率极低的问题，结合你的排查结果，我整理了几个针对性的解决方案和分析：

1. 核心原因：文件系统缓存未预热 #

这是最可能的罪魁祸首：

• 操作系统会把最近访问的文件数据暂存到内存缓存中，首轮遍历数据集时，所有图像都是第一次被读取，需要从HDD（你的路径是/hdd0）缓慢加载；后续轮次直接从内存缓存读取，速度自然暴增。
• 你自制的500k子集没这个问题，是因为子集文件数量少，缓存很快就能加载完成，而完整GLR2020数据集文件分布散、数量大，首轮需要逐个从磁盘拉取，耗时被放大。

验证&解决方法：提前预热文件缓存
在训练前手动遍历一遍数据集（仅做轻量级的文件访问，避免加载完整图像浪费时间），让操作系统把文件元数据和部分内容缓存到内存：

# 预热文件缓存，放在Dataset初始化前
print("Warming up file system cache...")
warm_start = time.time()
for full_path in files:
    # 仅读取1字节，触发缓存机制，耗时极短
    with open(full_path, 'rb') as fp:
        fp.read(1)
print(f"Cache warm-up done in {time.time() - warm_start:.2f} seconds")

运行这段代码后再启动训练，首轮速度应该会和后续轮次基本一致。

2. 优化Dataset的路径处理逻辑 #

你的ImgDataset存在两个小问题，可能叠加了首轮耗时：

• 没有继承torch.utils.data.Dataset：虽然能运行，但会丢失PyTorch Dataset的一些内置优化，建议补上继承。
• 在__getitem__中动态拼接路径：每次读取图像都要执行os.path.join，首轮大量并发读取时，这个小开销会被放大。

优化后的Dataset代码：

class ImgDataset(Dataset):  # 补上继承
    def __init__(self, full_image_paths, augmentation=None):
        self.full_image_paths = full_image_paths  # 提前传入完整路径
        self.augmentation = augmentation

    def __len__(self):
        return len(self.full_image_paths)

    def __getitem__(self, idx):
        # 直接使用预生成的完整路径，避免动态拼接
        img = np.array(cv2.imread(self.full_image_paths[idx]))
        if self.augmentation is not None:
            # 注意转成PyTorch需要的CHW格式（原OpenCV是HWC）
            augmented = self.augmentation(image=img)['image']
            return augmented.transpose(2, 0, 1)

同时，提前生成所有完整图像路径（你之前已经在做，但要确保直接传入Dataset）：

# 提前生成完整路径，后续直接使用
files = [os.path.join(dir, _[0], _[1], _[2], _+'.jpg') for _ in files]
dtset = ImgDataset(files, aug)

3. 解决首轮CPU利用率低的问题 #

首轮仅1-2个核心工作，是因为磁盘IO阻塞：HDD的随机读取速度很慢，开再多worker，大部分都在等待磁盘返回数据，只有少数worker能拿到数据进行处理。后续缓存生效后，IO不再阻塞，worker可以并行处理，核心利用率自然拉满。

进阶优化方案：

• 如果条件允许，把数据集迁移到SSD上：SSD的随机读取速度比HDD快10-100倍，能大幅降低首轮的IO等待时间。
• 使用persistent_workers=True：让DataLoader的worker在epoch之间不销毁重建，减少后续epoch的初始化开销（对首轮帮助不大，但能优化整体训练流程）：

  torchloader = DataLoader(
      dataset=dtset,
      batch_size=64,
      num_workers=16,
      shuffle=True,
      persistent_workers=True,
      pin_memory=True  # 如果用GPU训练，开启这个能加速数据传输到GPU
  )
  

总结 #

按优先级尝试：先预热文件缓存，再优化Dataset路径处理，最后考虑硬件升级或worker参数调整。这些方法应该能解决你遇到的首轮Epoch极慢的问题。

内容的提问来源于stack exchange，提问作者Slavka