OpenCV超分辨率EDSR_x2模型处理大图像报错及模型限制咨询

报错解决方法 #

该报错本质是OpenCV 4.5.1版本DNN模块处理超大尺寸输入时，中间卷积层张量形状计算溢出，导致分配的张量大小为0触发断言失败，可通过以下方案解决：

• 分块推理：将35003500的大图像切分为带16px重叠的256256/512*512小分块，逐个完成超分后裁剪掉重叠区域的边缘再拼接，可完全规避大尺寸输入限制，重叠区域可采用加权平均融合消除拼接缝。
• 升级OpenCV版本：4.5.3及以上版本已修复DNN模块大尺寸张量计算的溢出bug，直接升级到最新稳定版即可解决该问题，升级命令：

pip install --upgrade opencv-python opencv-contrib-python

• 启用GPU加速：配置CUDA环境后将DNN推理后端切换为CUDA，可大幅降低内存压力，避免张量分配失败，配置代码：

net.setPreferableBackend(cv.dnn.DNN_BACKEND_CUDA)
net.setPreferableTarget(cv.dnn.DNN_TARGET_CUDA)

• 调整输入格式：确认输入图像为3通道8位RGB格式，OpenCV默认读取的是BGR格式，需先通过cv.cvtColor(img, cv.COLOR_BGR2RGB)转换后再输入模型，避免异常计算触发的报错。

EDSR_x2模型使用限制 #

• 输入尺寸限制：原生训练的EDSR_x2针对中小尺寸图像优化，单张输入尺寸建议不超过2048*2048，超过该尺寸后推理速度会呈指数级增长，同时容易触发深度学习推理框架的张量计算bug。
• 输入格式限制：仅支持3通道8位RGB图像输入，单通道灰度图、4通道带透明通道的图像、16位深图像直接输入会出现计算错误或输出结果畸变。
• 放大倍数限制：该模型为固定2倍超分训练得到，不可自定义调整放大倍数，强行修改输出尺寸会导致超分结果出现严重伪影。
• 场景适配限制：模型训练集以自然场景图像为主，对扫描件、线稿、高对比度工业图像的超分效果较差，容易出现边缘模糊、噪声放大的问题。
• 性能限制：无GPU加速的CPU推理场景下，单张1080P图像推理时长普遍在2s以上，尺寸越大耗时成倍增长。

内容的提问来源于stack exchange，提问作者mans