基于DL4J的YOLOv2口罩检测验证阶段图像过亮问题咨询

问题根因 #

1. 离线验证时，DL4J输出的特征张量为RGB通道顺序，直接转换为OpenCV Mat后默认按BGR规则显示，导致颜色偏移、部分高饱和度图像出现过亮表现，低饱和度/灰度图像则不受影响，符合部分正常、部分过亮的现象。
2. 若特征张量存在超出[0,1]区间的数值，乘以255转换为8位图像时会发生数值溢出，进一步加重过曝问题。
3. 离线验证所用的NativeImageLoader未和训练、实时推理环节统一参数，引入了额外的格式误差。

修复方案 #

修改OfflineValidationWithTestDataset方法中的图像转换逻辑即可，修改后的代码如下：

private static void OfflineValidationWithTestDataset(RecordReaderDataSetIterator test) throws InterruptedException {
    // 统一NativeImageLoader参数和训练/推理环节一致
    NativeImageLoader imageLoader = new NativeImageLoader(
            faceMaskIterator.yoloheight,
            faceMaskIterator.yolowidth,
            3
    );
    CanvasFrame canvas = new CanvasFrame("Validate Test Dataset");
    OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
    org.deeplearning4j.nn.layers.objdetect.Yolo2OutputLayer yout = (org.deeplearning4j.nn.layers.objdetect.Yolo2OutputLayer) model.getOutputLayer(0);
    Mat convertedMat = new Mat();
    Mat convertedMat_big = new Mat();

    while (test.hasNext() && canvas.isVisible()) {
        org.nd4j.linalg.dataset.DataSet ds = test.next();
        INDArray features = ds.getFeatures();
        // 先截断特征数值到0-1区间，避免溢出过曝
        INDArray clippedFeatures = features.clip(0, 1);
        INDArray results = model.outputSingle(clippedFeatures);
        List<DetectedObject> objs = yout.getPredictedObjects(results, detectionThreshold);
        YoloUtils.nms(objs, 0.4);
        Mat mat = imageLoader.asMat(clippedFeatures);
        // RGB转BGR适配OpenCV的显示规则
        Imgproc.cvtColor(mat, mat, Imgproc.COLOR_RGB2BGR);
        mat.convertTo(convertedMat, CV_8U, 255, 0);
        int w = mat.cols() * 2;
        int h = mat.rows() * 2;
        resize(convertedMat, convertedMat_big, new Size(w, h));
        convertedMat_big = drawResults(objs, convertedMat_big, w, h);
        canvas.showImage(converter.convert(convertedMat_big));
        canvas.waitKey();
    }
    canvas.dispose();
}

额外排查项 #

如果修改后仍存在过亮问题，可按以下顺序排查：

• 确认数据集中所有图像均为8位三通道RGB格式，排除16位深度、单通道等特殊格式图像带来的转换异常
• 打印训练迭代器输出的特征张量的最大、最小值，确认ImagePreProcessingScaler生效，特征数值确实落在[0,1]区间内

内容的提问来源于stack exchange，提问作者Aiman Zaidi