能否使用安卓ML Kit实现自定义产品包装盒的离线检测？

当前使用的ML Kit通用设备端对象检测器，内置分类标签仅覆盖家居、通用物品等固定通用类别，不支持自定义配置识别目标，要实现仅检测自家产品包装盒的全离线能力，可通过ML Kit生态下的端侧自定义检测能力实现，全程无网络依赖：

• 核心能力选型
  直接替换通用对象检测器为ML Kit支持的自定义端侧对象检测器，该能力所有推理流程均在设备本地完成，无任何云端调用请求，天然满足离线运行要求。
• 自定义检测模型准备流程
  • 采集覆盖全场景的产品包装盒样本：包含不同光照、不同摆放角度、不同拍摄距离、带常见轻度遮挡（比如手持部分遮挡、货架上相邻物品遮挡）的画面，标注好每个样本中包装盒的边界框、对应自定义类别标签（如标注为BrandProductBox）
  • 将标注完成的样本训练为TFLite格式的端侧检测模型，训练完成后将模型文件直接打包到APK的assets目录下，无需运行时联网下载
• 现有代码的改造逻辑
  现有代码中的帧处理、图像格式转换、回调更新UI的逻辑完全可以复用，仅需替换检测器的初始化部分即可：

  // 移除原有通用检测器的初始化代码
  val localModel = LocalModel.Builder()
      .setAssetFilePath("ml/our_product_box_detector.tflite")
      .build()
  val customDetectorOptions = FirebaseVisionCustomObjectDetectorOptions.Builder()
      .setLocalModel(localModel)
      .setDetectorMode(FirebaseVisionObjectDetectorOptions.STREAM_MODE)
      .enableMultipleObjects()
      .setClassificationConfidenceThreshold(0.7f) // 设置置信度阈值过滤低可信误检结果
      .build()
  val customObjectDetector = FirebaseVision.getInstance().getCustomObjectDetector(customDetectorOptions)
  

  改造后，检测回调返回的结果结构与原通用检测器完全一致，仅需在遍历检测结果时，判断分类标签为自定义的产品标签，即可过滤掉所有非目标物体的识别结果，实现仅检测自家包装盒的效果。
• 低成本落地替代方案
  如果从零训练检测模型的成本过高，可在通用检测器输出的所有检测区域基础上，对接ML Kit端侧自定义图像特征提取能力：提前存储不同角度的产品包装盒特征向量，将检测区域的提取特征和预存向量做余弦相似度匹配，当相似度超过设定阈值时判定为目标产品。该方案不需要重新训练检测模型，落地周期更短，同样可实现全离线运行。
• 落地注意事项
  • 不要同时运行通用检测器和自定义检测器，两个模块同时处理摄像头帧会占用过多推理资源，造成帧率下降
  • 样本覆盖度直接影响检测准确率，需避免仅拍摄正面无遮挡的理想样本，重点覆盖实际使用场景下的各类拍摄条件，减少漏检、误检概率

内容的提问来源于stack exchange，提问作者Asad35Waheed