Amazon SageMaker ml.p2.xlarge笔记本实例训练速度慢问题问询

• GPU未被实际调用：先执行nvidia-smi命令确认实例GPU是否正常被识别，再检查训练代码是否明确指定了使用GPU设备（例如PyTorch的.to('cuda')、TensorFlow的tf.device('/GPU:0')配置）。如果代码默认运行在CPU上，p2.xlarge仅4核的vCPU会导致训练速度远低于预期。弹性推理配置仅作用于部署后的推理端点，设置为无不会对训练过程产生任何影响，无需在此方向排查。
• 数据加载瓶颈：若训练数据集存储在S3且未做本地缓存，训练过程中频繁跨网络拉取数据会成为速度瓶颈；如果数据加载器的worker数设置过低、未启用预处理预取机制（例如PyTorch DataLoader的num_workers参数设为0），会导致GPU长时间等待数据输入，利用率长期处于低位。
• 负载与实例规格不匹配：ml.p2.xlarge搭载单张NVIDIA K80显卡，FP32算力仅12TFLOPS，显存为12GB。如果训练的是参数量较大的CV、生成类模型，或是batch size设置过大触发显存交换，都会出现训练卡顿。你可以通过nvidia-smi查看显存占用率，若持续接近12GB上限，需调小batch size或更换更高规格的GPU实例。
• 系统资源被挤占：执行htop查看CPU、内存占用情况，确认是否有其他未关闭的Notebook进程、后台下载任务占用系统资源，挤占训练任务的算力和内存带宽。如果实例挂载的EBS存储卷容量已被占满，也会导致IOPS耗尽，拖慢训练过程中的读写速度。

内容的提问来源于stack exchange，提问作者Hasnain Ali