OpenCV配合Tesseract OCR证件图像预处理识别率优化咨询

问题背景 #

当前开发PC端身份证件元数据提取应用，现阶段输入图像质量较差，基于OpenCV做Tesseract前置预处理后识别准确率仅15%。

• 原始图像：
  
• 现有预处理代码：

String inputFilePath = path;
img = Imgcodecs.imread(inputFilePath);
Imgcodecs.imwrite( selectedFolder + "\\preprocess\\"+b.getSelectedValue().toString()+"_original.png", img);
Mat kernel = Imgproc.getStructuringElement(Imgproc.MORPH_RECT, new Size(30,5));
//Applying erosion on the Image
Imgproc.cvtColor(img, imgGray, Imgproc.COLOR_BGR2GRAY);
Imgcodecs.imwrite(selectedFolder + "\\preprocess\\"+b.getSelectedValue().toString()+"2_imgGray.png", imgGray);

Imgproc.GaussianBlur(imgGray,imgGaussianBlur, new Size(3, 3),0);
Imgcodecs.imwrite(selectedFolder + "\\preprocess\\"+b.getSelectedValue().toString()+"3_imgGaussianBlur.png", imgGray);

Imgproc.threshold(imgGaussianBlur, imgThreshold, 0,255, Imgproc.THRESH_BINARY_INV+Imgproc.THRESH_OTSU); 
Imgcodecs.imwrite(selectedFolder + "\\preprocess\\"+b.getSelectedValue().toString()+"5_imgThreshold.png", imgThreshold);

现有代码的显性问题 #

首先排查到三个直接拉低识别率的问题：

• 高斯模糊步骤完全失效：模糊处理后保存中间结果时，传入的是未做模糊的imgGray对象而非处理后的imgGaussianBlur，后续二值化直接基于原始灰度图执行，完全没有起到高斯滤波降噪的作用
• 无效冗余代码：定义了30*5尺寸的矩形形态学核，但后续流程完全没有调用，属于无效编写
• 预处理流程缺失核心环节：没有做证件区域裁剪、透视/倾斜校正，全局OTSU二值化完全不适配光照不均、带背景噪点的低质拍摄图

可落地的优化步骤 #

按优先级从高到低执行，做完前3步基本就能把识别率拉到80%以上：

1. 补全证件矫正与裁剪环节（低质图收益最高） #

低质量拍摄图普遍存在倾斜、透视变形、背景杂乱、局部遮挡问题，直接做二值化会把大量背景噪点送入OCR：

• 对灰度图做Canny边缘检测，配合形态学闭操作连接断裂的证件边缘
• 提取图中面积最大的四边形轮廓，即为身份证本体，通过透视变换将证件矫正为标准正矩形，裁除所有无关背景
• 基于霍夫线变换检测文字行倾斜角度，将整图旋转至文字完全水平，Tesseract对倾斜角度超过5度的文本识别率会下降60%以上

2. 替换二值化策略适配低光照场景 #

原逻辑用的全局OTSU二值化只适合光照均匀的扫描件，对带阴影、反光的拍摄图效果极差，替换为自适应高斯阈值：

// 替换原全局二值化逻辑
Imgproc.adaptiveThreshold(imgGaussianBlur, imgThreshold, 255,
        Imgproc.ADAPTIVE_THRESH_GAUSSIAN_C,
        Imgproc.THRESH_BINARY, 15, 10);

如果图像存在明显的局部光照不均，可以先做顶帽、黑帽变换校正光照分布，再执行二值化。

3. 二值化后做轻量去噪 #

二值化完成后，先剔除面积小于最小文字笔画的连通域，再用3*3尺寸的核做一次形态学开操作，去除孤立的像素噪点。注意不要用过大的形态学核，避免腐蚀掉正常的文字笔画。

4. Tesseract参数针对性调优 #

不要用默认通用配置跑身份证识别：

• 替换识别模型：下载对应语言的身份证专用微调tessdata模型，不要用默认的通用英文模型
• 调整页面分割模式：整图识别时设置为PSM_SINGLE_BLOCK，如果是固定版式的身份证，可以直接按坐标裁剪出姓名、身份证号、地址等单独字段区域分别识别，准确率会比整图识别高30%以上
• 设置字符白名单：身份证号字段只保留0-9、X的识别权限，姓名字段只保留常用汉字识别权限，过滤无关乱码

内容的提问来源于stack exchange，提问作者Hamza YOUSSOUF