基于Emgu.CV优化图像质量 提升Tesseract OCR识别准确率

现有代码的核心问题 #

• 高斯平滑步骤完全未生效：代码中对原图执行3x3高斯平滑得到平滑后图像，但后续阈值处理传入的是未经过平滑的原始灰度图，去噪操作没有参与后续流程
• Otsu阈值参数顺序错误：EmguCV中CvInvoke.Threshold方法的参数顺序为「输入图像、输出图像、手动阈值、像素最大值、阈值类型」，原有代码将手动阈值设为255、像素最大值设为0，参数完全写反。Otsu模式会自动计算最优分割阈值，手动阈值位置传0即可，但最大值传0会导致二值化后的像素值异常，字符和背景的对比度不符合Tesseract的输入要求
• 预处理流程缺失必要环节：没有针对低质文本图做噪点去除、形态学修复，也没有匹配Tesseract的输入要求做分辨率、页面分割模式的适配

修正后的预处理流程 #

按顺序执行以下步骤即可满足Tesseract的识别要求：

1. 读取图像后转为单通道灰度图，执行3x3高斯模糊去除图像表面的颗粒噪点，平滑结果直接传入后续二值化步骤
2. 修正Otsu二值化参数，像素最大值设为255，手动阈值传0，搭配二值化类型完成前景背景分割；如果分割后是黑底白字，追加反向二值化标记，保证最终输出是浅背景、深字符的格式，符合Tesseract的默认训练数据分布
3. 用2x2矩形核对二值化结果做一次形态学开运算，去除字符周围的孤立椒盐噪点，注意不要用过大的卷积核，避免腐蚀掉细笔画的字符
4. 检查图像分辨率，如果字符高度低于20像素，用立方插值将图像放大到字符高度20-40像素、DPI不低于300的规格，再传入Tesseract
5. 如果图像存在文本倾斜，先通过霍夫直线检测计算倾斜角度做校正，Tesseract对倾斜角度超过5度的文本识别率会大幅下降

修正后的参考代码 #

var img = new Image<Gray, Byte>("ZaA8M.jpg");
Image<Gray, byte> Img_Source_Gray = img.Copy();
Image<Gray, byte> Img_SourceSmoothed_Gray = Img_Source_Gray.CopyBlank();
Image<Gray, byte> Img_Otsu_Gray = Img_Source_Gray.CopyBlank();

// 高斯平滑去噪，平滑结果直接用于后续二值化
Img_SourceSmoothed_Gray = Img_Source_Gray.SmoothGaussian(3);

// 修正阈值参数：Otsu模式下手动阈值传0，像素最大值设为255
CvInvoke.Threshold(Img_SourceSmoothed_Gray, Img_Otsu_Gray, 0, 255, 
    Emgu.CV.CvEnum.ThresholdType.Otsu | Emgu.CV.CvEnum.ThresholdType.Binary);

// 小核形态学开运算去除孤立噪点
var kernel = CvInvoke.GetStructuringElement(Emgu.CV.CvEnum.ElementShape.Rectangle, new Size(2,2), new Point(-1,-1));
CvInvoke.MorphologyEx(Img_Otsu_Gray, Img_Otsu_Gray, Emgu.CV.CvEnum.MorphOp.Open, kernel, new Point(-1,-1), 1, Emgu.CV.CvEnum.BorderType.Default, new MCvScalar(0));

Bitmap imgb = (Bitmap)byteArrayToImage(Img_Otsu_Gray.ToJpegData());
imgb.Save("optimized_result.jpg");

Tesseract调用侧优化 #

• 不要使用默认的页面分割模式，根据文本排版选择对应模式：单行文本选PSM_SINGLE_LINE，单个字符选PSM_SINGLE_CHAR，普通文档块选PSM_AUTO
• 如果识别内容仅包含数字、英文字母，提前设置字符白名单，减少无关字符的误匹配
• 不要给Tesseract传入压缩过度的JPEG格式图像，优先传无压缩的BMP或者PNG格式的二值图，避免压缩伪影干扰识别

内容的提问来源于stack exchange，提问作者VNB