Adaptis训练时RTX 3080 GPU运行数个迭代后挂起问题求助

该类问题在RTX 30系显卡运行该项目PyTorch分支时反馈较多，核心诱因多为环境依赖不兼容、隐性显存溢出、CUDA运行时错误被静默捕获三类，可按以下思路逐步排查：

1. 环境依赖适配检查 #

• 验证CUDA与PyTorch版本匹配：RTX 3080为安培架构，最低要求CUDA 11.1及以上版本，配套PyTorch版本需≥1.8.0，可运行python -c "import torch; print(torch.version.cuda, torch.cuda.is_available())"确认版本匹配状态
• 替换旧版本依赖：原仓库默认requirements.txt中的torchvision、cocoapi均适配CUDA 10.x版本，需手动安装适配CUDA 11的对应torchvision版本，cocoapi可选择系统级安装依赖后再安装pycocotools避免版本冲突

2. 训练参数调整 #

• 降低batch size：初始95%的GPU占用已处于高负载状态，迭代过程中梯度累积、临时张量生成极易触发隐性显存溢出，可将batch size降低20%~30%后测试运行稳定性
• 开启CUDA错误抛出：在训练脚本最开头添加如下配置，避免CUDA错误被静默捕获导致进程无响应卡住：

import os
os.environ['CUDA_LAUNCH_BLOCKING'] = "1"

• 关闭混合精度训练：若开启了AMP混合精度训练，旧版本混合精度算子在安培架构上存在概率性精度溢出bug，可先关闭混合精度验证运行是否正常

3. 代码逻辑适配调整 #

• 调整数据加载参数：原仓库默认dataloader的num_workers设置为8，多进程数据加载的共享内存占用过高时会触发GPU通信中断，可将num_workers调整为4，同时将pin_memory设置为False测试
• 替换自定义旧算子：该分支中部分自定义CUDA算子基于旧版Torch API实现，可将其替换为PyTorch 1.8+原生支持的对应功能算子，比如使用torch.nn.functional下的原生插值、损失计算算子替换自定义实现

内容的提问来源于stack exchange，提问作者Simon