OpenCV(C++)实现DNG全景图人脸检测模糊及侧脸检测方案问询

1. 侧脸检测实现方案 #

单个Haar级联分类器无法覆盖侧脸姿态，OpenCV官方提供的haarcascade_profileface.xml是专门针对侧脸训练的分类器，但该分类器仅能检测朝向画面左侧的侧脸，检测右侧侧脸时需要将输入图像水平翻转后再执行检测，最后将检测得到的矩形框坐标做水平翻转映射回原图坐标即可。
如果对检测精度要求更高，不建议继续使用传统Haar级联方案，可以替换为OpenCV自带的DNN人脸检测模块（基于ResNet SSD架构），该模型对±90°偏转的人脸、弱光场景下的人脸检测召回率远高于Haar级联，不需要单独加载多套侧脸模型。

2. 多分类器加载的必要性 #

仅加载单个正脸Haar分类器无法达到最优检测效果。不同的Haar级联XML文件是基于不同姿态、不同特征维度的数据集训练得到的：

• 正脸分类器中，haarcascade_frontalface_alt2对有轻微遮挡、表情变化的正脸检测效果优于你当前使用的haarcascade_frontalface_alt.xml，误检率更低
• 侧脸分类器只能覆盖侧脸姿态，正脸分类器对偏转超过30°的人脸召回率会降到30%以下
  因此要覆盖正脸、左右侧脸的全场景检测，必须加载多个分类器配合使用，同时要注意多分类器会产生大量重复检测框，必须配合非极大值抑制（NMS）去重，否则同一个人脸会被多次标记。

3. 多分类器最佳实现流程 #

不要在每次检测时重复加载分类器文件，程序初始化阶段一次性加载所有需要的分类器即可，具体执行流程如下：

• 预处理阶段：将输入图像转为灰度图，执行直方图均衡化提升暗部对比度，全景DNG图像分辨率较高时可以按固定比例缩放到合适尺寸做检测，记录缩放比例用于后续坐标映射
• 分分类器检测：
  1. 用正脸分类器检测得到所有正脸矩形框
  2. 用侧脸分类器检测原图得到左侧脸矩形框
  3. 将原图水平翻转，用同一个侧脸分类器检测翻转后的图像，将得到的矩形框x坐标按原图宽度 - x - 框宽度的公式换算，得到右侧脸矩形框
• 后处理阶段：将所有渠道得到的矩形框汇总，调用OpenCV的dnn::NMSBoxes接口做非极大值抑制，交并比阈值设为0.3即可过滤掉所有重复检测框
• 模糊处理阶段：对最终保留的每个人脸ROI区域做高斯模糊，核大小设置为对应人脸矩形短边长度的1/5~1/10，模糊强度足够且边界过渡自然

DNG格式处理特殊注意事项 #

你提到需要完整保留DNG原始元数据，这里要特别注意：

OpenCV的imread/imwrite接口对DNG等RAW格式的支持非常有限，读取时会自动将RAW数据转成8位RGB图像，写入时会丢弃所有EXIF、XMP等原始元数据，无法满足元数据无损保留的要求。
正确处理流程是：先用libraw解码DNG得到可处理的图像矩阵，同时用exiv2库完整读取DNG内所有元数据块存为内存对象；将解码后的图像矩阵送入OpenCV完成人脸检测、区域模糊操作；最后将处理后的图像数据和之前读取的完整元数据一起，通过libraw或exiv2写回输出DNG文件，确保元数据无丢失、无损坏。

核心修改参考代码 #

#include <iostream>
#include <opencv2/highgui/highgui.hpp>
#include <opencv2/imgproc/imgproc.hpp>
#include <opencv2/objdetect/objdetect.hpp>
#include <opencv2/dnn/dnn.hpp>
#include <string>
#include <vector>

using namespace std;
using namespace cv;

int main(int argc, char** argv) {
    // 初始化阶段一次性加载所有分类器
    CascadeClassifier frontFaceDetector, profileFaceDetector;
    frontFaceDetector.load("haarcascade_frontalface_alt2.xml");
    profileFaceDetector.load("haarcascade_profileface.xml");
    
    // 此处替换为libraw解码的DNG图像矩阵，示例用普通图像读入做演示
    Mat img = imread("test.jpg");
    Mat gray;
    cvtColor(img, gray, COLOR_BGR2GRAY);
    equalizeHist(gray, gray); // 直方图均衡化提升检测率
    
    vector<Rect> allFaces;
    vector<int> scores; // 存储检测权重用于NMS
    
    // 1. 检测正脸
    vector<Rect> frontFaces;
    frontFaceDetector.detectMultiScale(gray, frontFaces, 1.1, 3, CASCADE_SCALE_IMAGE, Size(30,30));
    for(auto& rect : frontFaces) {
        allFaces.push_back(rect);
        scores.push_back(2);
    }
    
    // 2. 检测左侧脸
    vector<Rect> leftProfileFaces;
    profileFaceDetector.detectMultiScale(gray, leftProfileFaces, 1.1, 3, CASCADE_SCALE_IMAGE, Size(30,30));
    for(auto& rect : leftProfileFaces) {
        allFaces.push_back(rect);
        scores.push_back(2);
    }
    
    // 3. 检测右侧脸：翻转图像后检测再映射坐标
    Mat flippedGray;
    flip(gray, flippedGray, 1);
    vector<Rect> rightProfileFacesFlipped;
    profileFaceDetector.detectMultiScale(flippedGray, rightProfileFacesFlipped, 1.1, 3, CASCADE_SCALE_IMAGE, Size(30,30));
    for(auto& rect : rightProfileFacesFlipped) {
        Rect mappedRect;
        mappedRect.x = gray.cols - rect.x - rect.width;
        mappedRect.y = rect.y;
        mappedRect.width = rect.width;
        mappedRect.height = rect.height;
        allFaces.push_back(mappedRect);
        scores.push_back(2);
    }
    
    // 4. NMS去重
    vector<Rect> finalFaces;
    vector<int> keepIdx;
    dnn::NMSBoxes(allFaces, scores, 1.5, 0.3, keepIdx);
    for(int idx : keepIdx) {
        finalFaces.push_back(allFaces[idx]);
    }
    
    // 5. 人脸区域模糊
    for(auto& faceRect : finalFaces) {
        Mat faceROI = img(faceRect);
        int ksize = max(faceRect.width, faceRect.height) / 8;
        if(ksize % 2 == 0) ksize +=1; // 高斯核尺寸必须为奇数
        GaussianBlur(faceROI, faceROI, Size(ksize, ksize), 0);
    }
    
    // 此处替换为带元数据写回的DNG存储逻辑，不要直接用imwrite存DNG
    imwrite("result.jpg", img);
    return 0;
}

内容的提问来源于stack exchange，提问作者Shahgee