YOLOv5以1280img分辨率训练自定义数据集报cuDNN错误如何解决

• 场景：在Python环境中使用YOLOv5训练自定义小目标检测数据集，为提升小目标检测精度，计划使用1280输入分辨率开展训练
• 原执行命令（存在格式错误）：

Pyhton train.py - - 1280img - - batch 32 - - epochs 100 - - data test123.yaml - - weights yolov5.pt

• 报错信息：

RuntimeError: Unable to find a valid cuDNN algorithm to run convolution

• 已验证情况：输入分辨率下调至640后训练可正常运行，所用GPU为RTX 3080Ti，无法定位1280分辨率训练失败原因

1. 核心触发原因：显存溢出。RTX 3080Ti公版显存为12GB，输入分辨率从640提升到1280时，单张图片的特征图显存占用会变为原来的4倍，搭配batch=32的配置总显存需求远超过12GB硬件上限，cuDNN无法在可用显存范围内匹配到可运行的卷积算法，就会抛出该错误，和CUDA、cuDNN安装损坏无关，不需要重装环境。
2. 原训练命令本身存在3处语法错误，即使显存足够也无法正常运行：
   • 解释器拼写错误：Pyhton正确写法为python
   • 参数前缀格式错误：所有参数前的- -多输入了空格，正确参数前缀为连续两个短横--
   • 参数名错误：指定输入分辨率的参数为--img，不存在--1280img这个参数，分辨率数值需要作为参数值跟在--img后面

按操作优先级从高到低尝试：

• 第一步：修正命令语法错误，同时大幅下调batch size。1280分辨率下RTX 3080Ti的安全初始batch值为8，可先使用如下命令启动训练：

python train.py --img 1280 --batch 8 --epochs 100 --data test123.yaml --weights yolov5.pt

如果启动后显存占用还有余量，再逐步把batch往上加，最高不要超过12；如果还是报显存类错误，就把batch下调到4。

• 第二步：如果调整batch后仍报相同cuDNN错误，在训练命令中追加--cudnn-benchmark False参数，关闭cuDNN的自动算法寻优功能，该操作会带来约5%的训练速度损耗，但能解决绝大多数算法匹配失败问题。
• 第三步：如果显存仍有压力，追加--fp16参数开启混合精度训练，30系显卡原生支持FP16计算，开启后可降低30%左右显存占用，不会造成可感知的精度损失。
• 小目标训练优化提示：1280分辨率训练时，可以追加--hyp data/hyps/hyp.scratch-high.yaml参数调用高分辨率专用超参配置，小目标检测精度会比使用默认超参高10%~15%。

内容的提问来源于stack exchange，提问作者Marze lells