如何结合MediaPipe与DeepFace提升人脸识别准确率？

一、用MediaPipe提取的特征向量提升DeepFace准确率是否可行？ #

可行，但要注意特征的适配性。DeepFace本身依赖预训练模型（如VGG-Face、Facenet）提取特征做比对，MediaPipe的人脸识别模块也能输出128维的人脸特征向量，两者都是基于深度学习的特征提取方案，在场景互补性上有潜力——比如DeepFace默认模型在侧脸、低光照场景表现不佳时，MediaPipe的特征可能能补充有效信息。不过要注意，两者的特征空间不同，直接混用需要做归一化处理，或者统一用余弦相似度这类通用的比对方式。

二、如何将MediaPipe提取的特征向量传入DeepFace？ #

DeepFace的核心流程是「人脸检测→特征提取→特征比对」，要接入MediaPipe的特征，需要跳过或替换DeepFace的特征提取环节，具体步骤如下：

1. 用MediaPipe提取特征向量 #

先实现MediaPipe的特征提取函数：

import mediapipe as mp
import cv2

mp_face_recog = mp.solutions.face_recognition

def get_mediapipe_embedding(image_path):
    img = cv2.imread(image_path)
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    with mp_face_recog.FaceRecognition(model_selection=1, min_detection_confidence=0.5) as recognizer:
        results = recognizer.process(img_rgb)
        if not results.face_embedding:
            return None
        # 返回128维特征向量
        return results.face_embedding.numpy()

2. 对接DeepFace的比对逻辑 #

DeepFace默认用自身模型的特征做余弦相似度比对，你可以直接用MediaPipe的特征执行相同的比对逻辑，不需要依赖DeepFace的特征提取：

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity

# 提取两张人脸的MediaPipe特征
feat1 = get_mediapipe_embedding("face1.jpg")
feat2 = get_mediapipe_embedding("face2.jpg")

if feat1 is not None and feat2 is not None:
    # 计算余弦相似度，DeepFace常用阈值为0.6-0.7
    sim_score = cosine_similarity([feat1], [feat2])[0][0]
    is_match = sim_score > 0.65
    print(f"是否匹配：{is_match}，相似度：{sim_score:.4f}")

如果想保留DeepFace的人脸检测、对齐流程，也可以先用DeepFace处理得到对齐后的人脸，再传入MediaPipe提取特征后比对。

三、MediaPipe人脸关键点是否可用于DeepFace提升准确率？ #

可以，主要用于优化人脸对齐环节。DeepFace本身有人脸对齐步骤，但MediaPipe能提供更精细的68/468个关键点，用这些关键点做仿射变换对齐人脸，能减少因姿态偏移、角度问题导致的特征提取误差，进而提升识别准确率。

具体实现步骤： #

1. 用MediaPipe提取人脸关键点并完成对齐：

import mediapipe as mp
import cv2
import numpy as np

mp_face_mesh = mp.solutions.face_mesh
face_mesh = mp_face_mesh.FaceMesh(static_image_mode=True, max_num_faces=1, min_detection_confidence=0.5)

def align_face(image_path):
    img = cv2.imread(image_path)
    img_rgb = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    results = face_mesh.process(img_rgb)
    if not results.multi_face_landmarks:
        return None

    # 提取关键定位点：左眼、右眼、鼻尖
    landmarks = results.multi_face_landmarks[0]
    left_eye = np.array([landmarks.landmark[33].x, landmarks.landmark[33].y]) * img.shape[:2][::-1]
    right_eye = np.array([landmarks.landmark[263].x, landmarks.landmark[263].y]) * img.shape[:2][::-1]
    nose_tip = np.array([landmarks.landmark[1].x, landmarks.landmark[1].y]) * img.shape[:2][::-1]

    # 定义标准人脸的对应点位（可根据需求调整）
    std_left_eye = np.array([100, 100])
    std_right_eye = np.array([200, 100])
    std_nose_tip = np.array([150, 150])

    # 计算仿射变换矩阵并应用
    src_points = np.array([left_eye, right_eye, nose_tip], dtype=np.float32)
    dst_points = np.array([std_left_eye, std_right_eye, std_nose_tip], dtype=np.float32)
    M = cv2.getAffineTransform(src_points, dst_points)
    aligned_img = cv2.warpAffine(img, M, (300, 300))
    return aligned_img

2. 将对齐后的人脸传入DeepFace执行识别：

from deepface import DeepFace

aligned_face1 = align_face("face1.jpg")
aligned_face2 = align_face("face2.jpg")

if aligned_face1 is not None and aligned_face2 is not None:
    result = DeepFace.verify(aligned_face1, aligned_face2, model_name="Facenet")
    print(f"匹配结果：{result['verified']}，相似度：{result['distance']:.4f}")

内容的提问来源于stack exchange，提问作者muhammad hamza