使用MTCNN人脸提取器裁剪头部时出现多余区域如何解决

问题根因 #

现有方案存在两个核心问题：

• 固定像素偏移没有适配不同像素密度、不同大小的人脸，小尺寸人脸会扩展过多，大尺寸人脸扩展不足
• 边界校验逻辑误用了人脸框的宽高w/h作为越界判断基准，实际应该参考原图的宽高，导致裁剪范围计算错误

优化方案 #

1. 替换固定偏移为比例扩展 #

以MTCNN输出的人脸框宽高为基准，结合人体头部的常规比例设置扩展系数，从根源适配不同场景的人脸：

• 左右方向各向外扩展人脸宽度的20%，覆盖脸颊和侧脸区域
• 向上扩展人脸高度的35%，覆盖额头到头顶的区域
• 向下仅扩展人脸高度的10%，避免过多包含颈部和肩部，可根据你的数据集微调比例

2. 优化后的实现代码 #

import mtcnn
import cv2

detector = mtcnn.MTCNN()
img = cv2.imread('images/'+path_res)
img_h, img_w = img.shape[:2] # 提取原图宽高用于越界判断
faces = detector.detect_faces(img)

if faces:
    # 单人脸场景取第一个检测结果，多人脸场景可自行遍历所有result
    result = faces[0]
    x, y, w, h = result['box']
    x1, y1 = x + w, y + h

    # 按比例计算各方向扩展量
    pad_left = int(0.2 * w)
    pad_right = int(0.2 * w)
    pad_top = int(0.35 * h)
    pad_bottom = int(0.1 * h)

    # 计算裁剪坐标，自动处理越界
    a = max(x - pad_left, 0)
    b = max(y - pad_top, 0)
    c = min(x1 + pad_right, img_w)
    d = min(y1 + pad_bottom, img_h)

    crop = img[b:d, a:c]

可选进阶优化 #

如果对裁剪精度要求更高，可以利用MTCNN返回的5个面部关键点（双眼、鼻子、左右嘴角）校准头部边界：通过双眼Y坐标计算头顶位置，通过嘴角Y坐标计算下巴位置，比纯框扩展的准确率更高。

内容的提问来源于stack exchange，提问作者jeanluc