Pytesseract配合OpenCV预处理无法识别屏幕指定区域绿色数字如何解决
小尺寸荧光数字OCR识别失败的排查与修正
代码中的核心问题点
- 预处理结果未回填:调用
cv2.adaptiveThreshold时未接收函数返回值,这一步阈值计算的结果没有被保存,送入OCR的始终是HSV筛选得到的粗糙掩膜,预处理流程完全失效 - 颜色空间转换不匹配:
mss抓取的屏幕帧默认是BGRA带透明通道格式,代码直接用COLOR_RGB2HSV做空间转换,通道顺序错位,导致绿色数字的掩膜提取精度差,边缘杂点多 - 放大插值逻辑错误:6倍放大时使用了
INTER_AREA插值,该算法专为图像缩小的降采样场景设计,用在放大场景会让数字边缘模糊、笔画粘连 - 识别模式适配偏差:使用
--psm 13(无布局裸单行文本识别),但小尺寸数字紧贴图像边缘,没有留白,Tesseract的内置前置裁切逻辑会把靠近边缘的笔画当成无效边框裁除 - 缺乏边界留白:识别目标直接顶到图像边界,没有预留足够的识别缓冲空间
修正后的实现代码
import numpy as np import cv2 from mss import mss import pytesseract # 配置Tesseract可执行文件路径 pytesseract.pytesseract.tesseract_cmd = r'C:\Program Files (x86)\Tesseract-OCR\tesseract.exe' # 屏幕截图区域 bounding_box = {'top': 250, 'left': 630, 'width': 20, 'height': 12} sct = mss() while True: # 抓取屏幕帧 sct_img = sct.grab(bounding_box) frame = np.array(sct_img) # 去掉透明通道,完成颜色空间转换 frame_bgr = cv2.cvtColor(frame, cv2.COLOR_BGRA2BGR) frame_hsv = cv2.cvtColor(frame_bgr, cv2.COLOR_BGR2HSV) # 提取绿色目标掩膜 mask = cv2.inRange(frame_hsv, (36, 25, 25), (70, 255, 255)) # 6倍放大,使用适合放大的立方插值 target_w = int(mask.shape[1] * 6) target_h = int(mask.shape[0] * 6) resized = cv2.resize(mask, (target_w, target_h), interpolation=cv2.INTER_CUBIC) # 自适应阈值二值化:把掩膜(白字黑底)转成黑字白底的标准OCR输入格式 thresh = cv2.adaptiveThreshold( resized, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY_INV, 11, 4 ) # 给图像加10像素的白色留白,避免笔画被裁切 padded = cv2.copyMakeBorder( thresh, 10, 10, 10, 10, cv2.BORDER_CONSTANT, value=255 ) # 配置OCR识别参数:用psm 8适配单块文本识别,限定识别字符范围 ocr_config = '--psm 8 --oem 3 -c tessedit_char_whitelist=0123456789/' recognized_text = pytesseract.image_to_string(padded, config=ocr_config).strip() print(recognized_text) # 显示处理后的图像 cv2.imshow('processed', padded) if (cv2.waitKey(1) & 0xFF) == ord('q'): cv2.destroyAllWindows() break
额外调试提示
- 如果识别结果还是不稳定,可以根据实际数字的HSV值微调
cv2.inRange的上下边界,保证提取到的数字笔画完整无缺 - 如果数字为深色、背景为浅色,二值化时可以把
THRESH_BINARY_INV换成THRESH_BINARY,保证输入格式匹配Tesseract的识别偏好 - 优先放大图像再做二值化处理,比先二值化再放大的识别精度更高
内容的提问来源于stack exchange,提问作者Ali AlJabur
相关产品推荐
相关产品推荐

