Mediapipe KNIFT模板匹配使用自定义图片异常，咨询运行原理与优化方案

KNIFT 输入与标签处理逻辑 #

• 输入预处理：KNIFT 会先将输入帧缩放到默认224x224尺寸，转为灰度图后做归一化处理，再提取局部特征点并为每个特征点生成128维二进制描述子，匹配阶段会将输入帧的描述子与模板库的描述子做汉明距离比对，仅当匹配点数量超过预设阈值时才会输出检测框。
• 模板构建逻辑：官方3美元纸币模板是从不同光照、不同角度、不同折损状态的上千张样本中提取的特征集合，并非仅用少量原始图片生成；仅用3张样图构建的模板库覆盖的特征场景极少，是匹配准确率低的核心原因。
• 标签映射逻辑：匹配阶段会统计每个模板ID的匹配点占比，占比最高且超过阈值的模板ID会绑定对应标签输出，若多个模板的匹配点占比差值过小，就会出现标签跳变、识别结果错误的问题。

自定义场景优化方案 #

输入侧优化 #

• 控制输入源质量：安卓端传入KNIFT的帧分辨率不要低于720P，同时开启相机自动曝光、自动对焦权限，避免模糊、过曝/欠曝的帧输入；固定场景检测可手动设置曝光阈值减少环境光干扰。
• 过滤无效输入帧：传入KNIFT前先做模糊检测，调用cv2.Laplacian()计算图像方差，方差低于阈值的模糊帧直接跳过，不送入匹配模块，可大幅减少误检、提升有效检测频次。

模板库优化 #

• 扩充模板样本集：至少准备20张以上不同状态的目标样本，覆盖0°~45°倾斜、±30°俯仰角、3种以上常见光照强度、轻微折损/污渍的场景，重新生成模板库，是提升匹配准确率最有效的手段。
• 统一标签规则：同一类目标的所有模板绑定同一个标签，不要给同一目标的不同角度、不同状态样本设置不同标签，避免标签匹配冲突。

匹配参数调优 #

• 调整匹配点阈值：修改MediaPipe Graph中knift_matcher节点的min_matching_points参数，默认值为20，自定义场景可根据测试效果下调到12~18区间，提升检测频次；若误检过多可适当上调。
• 调整标签置信阈值：修改detection_labeler节点的min_confidence参数，默认值为0.5，可上调到0.7以上，过滤置信度低的错误标签输出。

内容的提问来源于stack exchange，提问作者Fab