Swift iOS中Vision框架无法从CGImage返回文本识别结果

可能的原因及修复方案 #

• 语言配置不全
  当前代码仅指定了英文识别（["en-US"]），要支持日文汉字识别必须添加日文语言代码。修改语言数组为：

  request.recognitionLanguages = ["ja-JP", "en-US"]
  

  Vision需要明确声明要识别的语言，否则无法匹配手写日文内容。

• 文本高度阈值过滤
  注释掉minimumTextHeight后，默认阈值可能过高，导致小尺寸手写文字被忽略。建议设置一个较低的比例值：

  request.minimumTextHeight = 0.05
  

  该值是文字高度相对于图像总高度的比例，可根据Canvas的实际尺寸调整。

• 图像方向不匹配
  UIKit与Vision的坐标系存在差异，若图像方向不正确会导致识别失败。创建请求处理器时需指定图像方向：

  let orientation = CGImagePropertyOrientation(uiImage.imageOrientation)
  let requestHandler = VNImageRequestHandler(cgImage: cgImage, options: [.orientation: orientation])
  

  确保Vision使用正确的图像方向进行识别。

• Canvas转图像的方式问题
  虽然截图显示图像正常，但drawHierarchy可能未正确捕获Canvas内容。尝试替换为图层渲染的方式：

  func convertCanvasToImage(view: UIView) -> UIImage {
      UIGraphicsBeginImageContextWithOptions(view.bounds.size, view.isOpaque, UIScreen.main.scale)
      defer { UIGraphicsEndImageContext() }
      view.layer.render(in: UIGraphicsGetCurrentContext()!)
      return UIGraphicsGetImageFromCurrentImageContext()!
  }
  

  这种方式更稳定，能确保捕获到Canvas的所有绘制内容。

• 识别参数调整
  针对手写临摹场景，可调整识别参数：

  • 将recognitionLevel改为.fast，手写文字识别速度优先模式可能更适配；
  • 关闭usesLanguageCorrection，因为临摹的汉字可能与标准字体有差异，语言修正会过滤掉这类内容：

    request.recognitionLevel = .fast
    request.usesLanguageCorrection = false
    

内容的提问来源于stack exchange，提问作者James McD.