Mobile FaceNet人脸识别误识别问题排查及替代方案咨询

遇到的问题 #

• 偶尔出现误识别：录入人员A和B的人脸后，扫描A的人脸却被判定为B
• 偶尔识别出数据库中未注册的人员

注：人脸Embedding以GSON文本形式存储在MySQL数据库中

现有Android端代码 #

图片加载与预处理 #

private final TensorImage loadImage(Bitmap bitmap) {
    TensorImage var10000 = this.tImage;

    var10000.load(bitmap);
    ImageProcessor imageProcessor = (new ImageProcessor.Builder()).add((ImageOperator) (new ResizeOp(this.inputImageHeight, this.inputImageWidth, ResizeOp.ResizeMethod.BILINEAR))).add((TensorOperator) (new NormalizeOp(this.IMAGE_MEAN, this.IMAGE_STD))).build();
    TensorImage var10001 = this.tImage;


    Object var3 = imageProcessor.process(var10001);

    return (TensorImage) var3;
}

获取人脸Embedding #

private final float[] getEmbedding(Bitmap bitmap) {
    this.tImage = this.loadImage(bitmap);
    Interpreter var10000 = this.interpreter;

    TensorImage var10001 = this.tImage;

    ByteBuffer var4 = var10001.getBuffer();
    TensorBuffer var10002 = this.tBuffer;

    var10000.run(var4, var10002.getBuffer().rewind());
    TensorBuffer var2 = this.tBuffer;


    float[] var3 = var2.getFloatArray();

    return var3;
}

余弦相似度计算 #

private final float cosineSimilarity(float[] A, float[] B) {
    if (A != null && B != null && A.length != 0 && B.length != 0 && A.length == B.length) {
        double sumProduct = 0.0D;
        double sumASq = 0.0D;
        double sumBSq = 0.0D;
        int i = 0;

        for (int var10 = A.length; i < var10; ++i) {
            sumProduct += (double) (A[i] * B[i]);
            sumASq += (double) (A[i] * A[i]);
            sumBSq += (double) (B[i] * B[i]);
        }

        return sumASq == 0.0D && sumBSq == 0.0D ? 2.0F : (float) (sumProduct / (Math.sqrt(sumASq) * Math.sqrt(sumBSq)));
    } else {
        return 2.0F;
    }
}

问题修复与优化建议 #

针对现有Mobile FaceNet的优化 #

1. 补全人脸检测与对齐步骤：当前代码仅做了图片缩放和归一化，缺少人脸检测和关键点对齐环节。如果输入图片中人脸位置偏移、角度不正，会直接导致Embedding质量下降，引发误识别。建议在生成Embedding前，先通过MTCNN或RetinaFace检测人脸区域，再基于眼睛、鼻子等关键点完成人脸对齐。
2. 调整相似度判定阈值：人脸识别中余弦相似度的合理阈值通常在0.6~0.8之间（需根据实际场景测试调整）。若阈值过低，会将非匹配Embedding判定为匹配；阈值过高则会增加漏识别概率。同时需明确：所有匹配结果的最高相似度低于阈值时，直接判定为“未注册人员”。
3. 优化Embedding存储精度：用GSON序列化float数组时易丢失精度，建议改用MySQL的Blob类型存储二进制形式的Embedding，或通过GsonBuilder().setPrecision(10)提高序列化精度，避免精度损失影响相似度计算。
4. 校验模型输入参数：确认IMAGE_MEAN和IMAGE_STD与Mobile FaceNet训练时的参数完全一致，错误的归一化参数会导致模型输出的Embedding偏离预期。
5. 增加多帧验证逻辑：对单帧识别结果做多帧校验——连续获取3~5帧人脸的Embedding，取相似度平均值或多数结果作为最终判定，降低单帧模糊、角度异常带来的误识别。

高精度人脸识别库推荐 #

• InsightFace：支持ArcFace、CosFace等高精度轻量模型，精度远超Mobile FaceNet，有成熟的Android端部署方案，适合对识别准确率要求高的场景。
• 官方FaceNet（TensorFlow版本）：精度高于Mobile FaceNet，模型体积略大，适合性能较好的Android设备。
• MediaPipe Face Recognition：结合MediaPipe的人脸检测对齐能力，部署简单，兼容性强，适合快速搭建高精度识别流程。

内容的提问来源于stack exchange，提问作者radhika undaviya