LED面板千克数值OCR识别失败求助：基于EmguCV与Tesseract

问题背景 #

需要提取LED面板显示的千克（kg）数值，原始图像经裁剪、灰度转换、阈值处理、高斯模糊、膨胀等操作后，Tesseract OCR仍无法识别内容，返回空文本。当前使用EmguCV+Tesseract组合，尝试过tessdata_best（英文）、lets、letsgodigital等多种Tesseract模型均失败。最终需将方案转换为C#，基于Xamarin.Forms实现移动端应用。

已尝试的处理方法与代码 #

方法1：基础模糊+二值化处理 #

public static void Apply()
{
    var folderName = "letsgodigital";
    var dataname = "letsgodigital";

    string tesseractPath = @$"./{folderName}";
    string imagePath = @"img.jpg";

    Mat image = CvInvoke.Imread(imagePath, ImreadModes.Color);

    Mat blurredImg = new Mat();
    CvInvoke.Blur(image, blurredImg, new Size(9, 9), new Point(-1, -1));

    Mat grayImg = new Mat();
    CvInvoke.CvtColor(blurredImg, grayImg, ColorConversion.Bgr2Gray);

    Mat binaryImg = new Mat();
    CvInvoke.Threshold(grayImg, binaryImg, 122, 255, ThresholdType.Binary);

    binaryImg.Save("full_pannel_bw.png");

    using (var engine = new TesseractEngine(tesseractPath, dataname, EngineMode.Default))
    {
        engine.DefaultPageSegMode = PageSegMode.SingleLine;

        using (var img = Pix.LoadFromFile("full_pannel_bw.png"))
        {
            using (var page = engine.Process(img))
            {
                string text = page.GetText();
                Console.WriteLine("tesseract got: \"{0}\"", text.Trim());
            }
        }
    }
}

方法2：基于红色通道的文字加深处理 #

尝试分离红色通道增强文字对比度，处理后文字视觉上更清晰，但Tesseract仍无法识别：

static void loggg()
{
    Mat img = CvInvoke.Imread("5.jpg", ImreadModes.Color);

    VectorOfMat channels = new VectorOfMat();
    CvInvoke.Split(img, channels);

    Mat redChannel = new Mat();
    CvInvoke.Subtract(channels[2], channels[1], redChannel);
    CvInvoke.Subtract(redChannel, channels[0], redChannel);

    CvInvoke.Threshold(redChannel, redChannel, 40, 255, ThresholdType.Binary);

    Mat invertedRedChannel = new Mat();
    CvInvoke.BitwiseNot(redChannel, invertedRedChannel);
    Mat morphKernel = CvInvoke.GetStructuringElement(ElementShape.Rectangle, new Size(2, 2), new Point(-1, -1));
    CvInvoke.MorphologyEx(invertedRedChannel, invertedRedChannel, MorphOp.Close, morphKernel, new Point(-1, -1), 1, BorderType.Constant, new MCvScalar(255));

    Mat dilateKernel = CvInvoke.GetStructuringElement(ElementShape.Rectangle, new Size(1, 1), new Point(-1, -1));
    CvInvoke.Dilate(invertedRedChannel, invertedRedChannel, dilateKernel, new Point(-1, -1), 1, BorderType.Constant, new MCvScalar(0));

    invertedRedChannel.Save("darker_red_text.jpg");

    img.Dispose();
    redChannel.Dispose();
    invertedRedChannel.Dispose();
    channels.Dispose();
}

可行解决方案建议 #

1. 优化图像预处理步骤 #

• 替换自适应阈值：LED屏幕存在局部亮度不均，用自适应阈值替代固定阈值，更好保留文字细节：

  CvInvoke.AdaptiveThreshold(grayImg, binaryImg, 255, AdaptiveThresholdType.GaussianC, ThresholdType.BinaryInv, 11, 2);
  

• 针对性降噪：使用中值模糊替代普通模糊，更适合去除LED屏幕的点状噪点：

  CvInvoke.MedianBlur(grayImg, grayImg, 3);
  

2. 调整Tesseract配置 #

• 限制识别字符集：明确指定只识别数字和小数点，减少干扰：

  engine.SetVariable("tessedit_char_whitelist", "0123456789.");
  

• 调整页面分割模式：若为单行数字，改用SingleBlock或SparseText模式，避免单行模式的局限：

  engine.DefaultPageSegMode = PageSegMode.SingleBlock;
  

• 切换基础模型：尝试eng.traineddata基础模型配合字符白名单，部分LED专用模型训练数据有限，基础模型稳定性更强。

3. 七段数码管模板匹配（备选方案） #

如果Tesseract始终失效，可针对LED七段数码管的特征做模板匹配：

• 提取每个数字的轮廓，对比预设的0-9七段亮灭状态模板，直接匹配出数字；
• 适合移动端轻量化场景，无需依赖OCR引擎，识别速度快、准确率高。

4. 移动端适配注意事项 #

• 图像采集时确保对焦和曝光稳定，避免模糊或过曝；
• 预处理优先使用硬件加速的OpenCV接口，降低移动端性能开销；
• 使用Tesseract时，需将训练数据打包到移动端资源中，确保路径正确。

内容的提问来源于stack exchange，提问作者boss