iOS Swift中如何识别遥控器LED/LCD显示屏字符？

一、Tesseract结合ssd.traineddata的正确流程 #

1. 配置ssd训练数据 #

• 下载适配当前Tesseract版本的ssd.traineddata（针对屏幕字符优化的训练集），将其放入项目的tessdata目录，确保Bundle可访问。
• 初始化Tesseract时指定使用该训练集，语言参数对应训练集名称，例如language: "ssd"。

2. 精准预处理图像 #

当前输出识别到按钮文本，核心问题是未隔离显示屏区域：

• 先用已有的目标检测模型定位遥控器上的显示屏，裁剪出该区域图像，排除其他按钮干扰。
• 对裁剪后的图像做强化预处理：转灰度、二值化、降噪，彻底区分字符与背景：

  func preprocessDisplayImage(_ image: UIImage) -> UIImage? {
      guard let cgImage = image.cgImage else { return nil }
      // 转灰度
      let grayContext = CGContext(data: nil, width: cgImage.width, height: cgImage.height, bitsPerComponent: 8, bytesPerRow: cgImage.width, space: CGColorSpaceCreateDeviceGray(), bitmapInfo: CGImageAlphaInfo.none.rawValue)
      grayContext?.draw(cgImage, in: CGRect(x: 0, y: 0, width: cgImage.width, height: cgImage.height))
      guard let grayImage = grayContext?.makeImage() else { return nil }
      // 二值化（阈值根据实际图像调整）
      let thresholdedImage = grayImage.threshold(threshold: 160)
      return UIImage(cgImage: thresholdedImage)
  }
  

3. 优化Tesseract参数 #

• 删除冗余的Tesseract实例初始化，保留一个即可。
• 针对目标文本18 / 12: 00，设置精准的字符白名单：tesseract.charWhitelist = "0123456789/: "。
• 页面分割模式改为单文本块模式，适配显示屏的固定文本区域：

  if let tesseract = G8Tesseract(language: "ssd+eng") {
      tesseract.engineMode = .tesseractOnly
      tesseract.pageSegmentationMode = .psmSingleBlock
      tesseract.charWhitelist = "0123456789/: "
      tesseract.image = preprocessDisplayImage(scaledImage!)!
      tesseract.recognize()
      debugPrint("识别结果: \(tesseract.recognizedText ?? "无有效结果")")
  }
  

二、ML模型实现方案 #

如果Tesseract效果不佳，可采用目标检测+字符分类的组合方案：

• 训练字符级目标检测模型：用Create ML标注多张遥控器图片中显示屏内的每个字符（如1、8、/等），训练模型定位每个字符的位置。
• 训练字符分类模型：收集显示屏样式的数字、符号样本，训练一个图像分类模型，识别单个字符。
• 拼接结果：用目标检测模型得到字符位置，裁剪每个区域后输入分类模型，按位置顺序拼接成完整文本。

或者直接训练端到端OCR模型：用Create ML的文本识别模板，输入多张不同场景下的显示屏图像，标注对应文本，训练后可直接输出识别结果，适合字符样式固定的场景。

内容的提问来源于stack exchange，提问作者Nandhini