神经网络训练触发RuntimeError: CUDA设备端断言错误求助

1. 定位真实错误来源 #

CUDA异步执行会导致堆栈追踪不精准，强制同步执行能直接捕捉到出错代码：

• 启动训练时添加环境变量：

  CUDA_LAUNCH_BLOCKING=1 python your_train_script.py
  

  此时错误会在触发时立即抛出，堆栈能准确指向问题点——这类错误90%以上是标签索引越界、张量形状不匹配、类别数配置错误（比如分类任务中标签值超过模型最后一层的输出维度）。

2. 启用设备端断言深入调试（可选） #

如果同步调试没找到问题，编译PyTorch时开启设备端断言：

• 编译前设置环境变量：

  export TORCH_USE_CUDA_DSA=1
  

  重新编译PyTorch后，设备端的断言会直接触发错误，帮助定位CUDA内核层面的问题。

3. 重点排查代码与数据问题 #

结合同步调试的报错信息，优先检查：

• 标签数据：确认所有标签值在模型输出的类别索引范围内（比如模型分10类，标签不能出现10或负数）
• 张量形状：核对输入、标签、模型输出的形状是否匹配（比如交叉熵损失要求标签维度和输出维度对应）
• 数据加载：检查DataLoader是否混入异常样本（如NaN、形状不一致的数据）
• 版本兼容：NVIDIA GeForce 1650支持CUDA，确保PyTorch版本与CUDA版本适配（可通过torch.cuda.is_available()验证CUDA是否正常加载）

4. 其他实用排查动作 #

• 更新显卡驱动至对应CUDA版本的适配版本
• 训练前执行torch.cuda.empty_cache()清理显存碎片
• 用CPU运行少量样本，验证代码逻辑本身无错误（排除CUDA相关代码问题）

内容的提问来源于stack exchange，提问作者Ruziy