PyTorch DataLoader Worker职责：准备样本还是构建完整批次？

单个 Worker 的核心任务 #

每个 Worker 是独立的子进程，负责加载分配给自己的样本索引对应的原始数据、执行预处理逻辑，处理完成后将单个样本放到主进程与 Worker 共享的内存队列中，等待主进程取用。

Batch Size=8 时的具体流程 #

不存在「每个 Worker 自行构建完整批次」的情况，实际流程是：

• 启动阶段：主进程会通过 Sampler 把所有样本索引分配给 k 个 Worker（比如总样本数 1000，num_workers=4，每个 Worker 拿到约 250 个索引），每个 Worker 会复制一份 Dataset 的实例（基于 fork 机制，注意 Dataset 初始化逻辑的线程安全性）。
• 运行阶段：每个 Worker 循环处理自己的索引队列，把预处理好的单个样本不断送入共享队列；主进程的 DataLoader 会从队列中拉取样本，凑够指定的 batch size（8个）后，沿批次维度拼接成完整的 Tensor 批次，再交付给训练循环，之后才会将这个批次转移到 GPU。

关键细节补充 #

• 队列预取：默认由 prefetch_factor=2 控制，每个 Worker 会提前预取 2 个样本到队列，保证主进程不会等待数据。
• 随机一致性：由于 Worker 是独立进程，若预处理包含随机操作（比如随机裁剪），需要手动设置每个 Worker 的随机种子，避免所有 Worker 生成相同的随机结果。
• 资源隔离：每个 Worker 拥有独立的内存空间，预处理时的临时数据不会互相干扰，但要注意关闭 fork 时继承的文件句柄等资源，防止泄漏。

内容的提问来源于stack exchange，提问作者shatz