GPU内存受限下，如何训练含密集实例的YOLOv5分割模型？

• 数据集与训练目标：基于约2300张Blender合成图像训练YOLOv5实例分割模型，单图尺寸1800x1800，含100-300个目标实例；期望模型在真实场景推理时输出检测实例的定位及宽高维度。训练设备为配备2块NVIDIA A5500 GPU（单卡24GB显存）的工作站。
• 核心问题：500张图像的小子集训练正常，但切换至全量数据集后，CUDA在首个epoch启动前即出现显存不足。已尝试的优化手段包括将batch size降至1、图像尺寸缩至512、启用分布式GPU训练，均未解决问题；且无法理解数据集规模为何会影响显存占用（按认知显存占用由模型大小、batch size、单张图像尺寸决定），该问题在自定义Conda环境与官方YOLOv5 Docker容器中均存在。
• 临时方案：编写脚本分小子集逐轮训练，但速度极慢，无法适配未来数据集扩容场景；因成本限制无法新增GPU，且数据集为私有无法公开。
• 怀疑方向：
  • 对比成败案例，唯一变量为训练数据量，怀疑大数据集中存在更多高实例数的图像（已知单图实例数会影响显存占用）；
  • 不确定是否因多边形轮廓精度过高导致显存占用过大——若为此原因，改用轮廓的最小外接矩形是否能降低显存占用？该方案符合需求，因外接矩形可准确反映实例宽高。

最后使用的训练命令：

python segment/train.py --weights '' --cfg models/segment/yolov5n-seg.yaml --data datasets/gen_seg/data.yaml --epochs 150 --img 512 --workers 16 --batch 1 --device 0

内容的提问来源于stack exchange，提问作者harke