KiU-Net训练出现cuDNN断言错误及浮点异常求助

1. 优先检查标签数据的合法性 #

断言失败../aten/src/ATen/native/cuda/NLLLoss2d.cu:104: t >= 0 && t < n_classes的核心原因是你的分割标签中存在超出模型类别范围的数值。比如模型设置为二分类（n_classes=2），但标签里出现了-1、2或更大的数，直接触发了损失函数的边界检查。

操作建议：

• 随机抽取训练/验证集的标签文件，验证像素值范围：

  import numpy as np
  from PIL import Image
  
  # 替换为你的标签文件路径
  label_path = "KiuNet/Train Folder/sample_label.png"
  label = np.array(Image.open(label_path))
  print(f"标签最小值: {label.min()}, 最大值: {label.max()}")
  print(f"标签所有唯一值: {np.unique(label)}")
  

• 若发现异常值（如负数、大于等于类别数的数值），根据数据集标注规则修正标签：比如把背景标注的-1替换为0，或者删除标注错误的样本，确保标签值严格落在[0, n_classes-1]的整数区间内。

2. 核对模型的类别数配置 #

检查项目中train.py或模型定义文件（如models/kiunet.py）里的n_classes参数，确保其与你的数据集实际类别数完全一致。

• 比如你的数据集是3类分割，就必须将n_classes设为3，而不是默认的2（很多分割模型默认二分类），否则即使标签正确，也会触发类别范围断言错误。

3. 排查数据加载的预处理逻辑 #

检查dataloaders.py中的标签加载代码：

• 确保标签被加载为整数类型（如torch.long），而非浮点数——NLLLoss等损失函数要求标签是整数类型的目标索引，浮点数标签会引发数值异常。
• 确认没有在预处理环节误修改标签值（比如错误地对标签做归一化、缩放操作）。

4. 验证CUDA环境与torch适配性 #

虽然核心错误源于标签，但cuDNN_STATUS_INTERNAL_ERROR和浮点异常可能是标签错误引发的连锁反应，可做以下验证：

• 临时切换到CPU运行训练（修改代码中device为cpu，或添加命令行参数指定CPU），如果CPU运行时不再出现断言错误，说明GPU环境的问题是由标签错误触发的，优先解决标签问题即可。
• 若CPU运行仍有问题，可尝试更新cuDNN到cu117对应的最新版本，或重新安装torch1.13.0+cu117确保环境完整性。

5. 检查损失函数与模型输出的匹配性 #

确认训练代码中的损失函数与模型输出格式匹配：

• 如果使用NLLLoss，模型最后一层必须是LogSoftmax层；如果使用CrossEntropyLoss，模型不需要额外添加Softmax/LogSoftmax层。两者不匹配会导致输出数值异常，进而触发浮点错误和cuDNN内部错误。

内容的提问来源于stack exchange，提问作者jscholten