PyTorch张量迁移至GPU的正确时机及相关实操问题咨询

• 针对小数据集可全部存入GPU的场景：提前将全量数据迁移到GPU确实是最优方案，可省去训练过程中每批次CPU到GPU的拷贝开销。需要注意如果使用DataLoader的多进程加载（num_workers > 0），CUDA张量无法跨进程传递，此时需要将num_workers设为0，或自行实现批次采样逻辑跳过DataLoader的CPU处理流程。
• 针对大数据集无法全量存入GPU的场景：对DataLoader生成的每一个批次调用batch.to("cuda")是标准操作。如果要进一步优化效率，可以将DataLoader的pin_memory参数设为True，迁移时加上non_blocking=True参数，即batch.to("cuda", non_blocking=True)，可实现CPU到GPU的拷贝与模型计算并行，提升资源利用率。
• 针对模型可存入GPU的场景：必须在训练开始前就将模型迁移到GPU，且迁移操作需要放在优化器初始化之前完成，否则优化器绑定的参数会是CPU版本，导致训练报错。迁移操作仅需在训练前执行一次model.to("cuda")即可。
• 针对numpy数组转Tensor的时机选择：优先选择提前将全量numpy array转换为PyTorch tensor的方案。该方案仅需执行一次格式转换，省去了__getitem__中逐样本转换的重复开销，运行效率更高。仅当全量转换后的Tensor超出CPU内存上限时，才需要在__getitem__中做实时转换。

内容的提问来源于stack exchange，提问作者DiveIntoML