基于OpenCV与Tesseract OCR的Python车牌识别字符检测问题

我基于Python+OpenCV做图像处理，搭配Tesseract OCR开发车牌识别系统。已实现车牌区域处理与文本提取函数，先通过图像锐化、对比度增强等预处理，再调用Tesseract提取文本，但无法稳定识别字符。尝试用车牌高度比为参考筛选大字符，该方案未成功。相关代码及处理效果如下：

现有车牌处理函数 #

@staticmethod
def process_license_plate(frame, x1, y1, x2, y2):
    """
    从帧中提取并处理车牌区域，优化OCR识别效果

    参数:
    - frame (numpy.ndarray): 包含车牌的图像或视频帧
    - x1, y1, x2, y2 (int): 车牌边界框坐标

    返回:
    - str: 识别出的车牌文本
    """
    # 步骤1：裁剪车牌区域
    license_plate_area = frame[y1:y2, x1:x2]

    # 步骤2：用卷积核锐化车牌区域
    sharpening_kernel = np.array([[-1, -1, -1], [-1, 9, -1], [-1, -1, -1]])
    sharpened_license_plate = opencv.filter2D(license_plate_area, -1, sharpening_kernel)

    # 步骤3：用CLAHE提升对比度
    lab = opencv.cvtColor(sharpened_license_plate, opencv.COLOR_BGR2LAB)
    l, a, b = opencv.split(lab)
    clahe = opencv.createCLAHE(clipLimit=3.0, tileGridSize=(8, 8))
    limg = opencv.merge([clahe.apply(l), a, b])
    enhanced_license_plate = opencv.cvtColor(limg, opencv.COLOR_LAB2BGR)

    # 步骤4：OCR预处理——灰度转换、高斯模糊、阈值分割
    grayscale_license_plate = opencv.cvtColor(enhanced_license_plate, opencv.COLOR_BGR2GRAY)
    blurred_license_plate = opencv.GaussianBlur(grayscale_license_plate, (3, 3), 0)
    _, thresholded_license_plate = opencv.threshold(blurred_license_plate, 0, 255, opencv.THRESH_BINARY + opencv.THRESH_OTSU)

    # 步骤5：形态学操作清理图像
    morph_kernel = opencv.getStructuringElement(opencv.MORPH_RECT, (3, 3))
    opened_license_plate = opencv.morphologyEx(thresholded_license_plate, opencv.MORPH_OPEN, morph_kernel, iterations=1)
    inverted_license_plate = opencv.bitwise_not(opened_license_plate)

    # 步骤6：用OCR提取文本
    license_plate_text = pytesseract.image_to_string(
        inverted_license_plate, lang='eng',
        config='--psm 6 -c tessedit_char_whitelist=ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'
    )

    return license_plate_text.strip()

尝试的大字符筛选代码 #

# 步骤6：过滤小元素，保留大字符（可选）
contours, _ = opencv.findContours(inverted_license_plate, opencv.RETR_EXTERNAL, opencv.CHAIN_APPROX_SIMPLE)
filtered_license_plate = np.zeros_like(inverted_license_plate)
# 定义轮廓面积阈值（例：车牌面积的90%）
threshold_area = 0.9 * license_plate_area.shape[0] * license_plate_area.shape[1] # 调试用值
for contour in contours:
    if opencv.contourArea(contour) > threshold_area:
        opencv.drawContours(filtered_license_plate, [contour], -1, (255, 255, 255), thickness=opencv.FILLED)

处理效果 #

• 带滤镜处理结果：
  
• 无滤镜处理结果：
  

问题修复方案 #

1. 修正轮廓筛选逻辑 #

你设置的面积阈值是车牌总面积的90%，单个字符的面积远达不到这个标准，导致没有字符被保留。改用字符高度与车牌高度的比例来筛选更合理：

# 重新定义阈值：字符高度至少为车牌高度的60%，宽度至少为高度的20%（过滤噪声）
plate_height = license_plate_area.shape[0]
min_char_height = 0.6 * plate_height
min_char_width = 0.2 * min_char_height

filtered_license_plate = np.zeros_like(inverted_license_plate)
for contour in contours:
    x, y, w, h = opencv.boundingRect(contour)
    if h >= min_char_height and w >= min_char_width:
        opencv.drawContours(filtered_license_plate, [contour], -1, 255, opencv.FILLED)

2. 优化Tesseract参数 #

当前--psm 6适用于单一均匀文本块，但车牌字符是规整的单行排列，建议调整参数：

license_plate_text = pytesseract.image_to_string(
    filtered_license_plate, lang='eng',
    config='--oem 3 --psm 7 -c tessedit_char_whitelist=ABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'
)

• --oem 3：使用默认的OCR引擎组合
• --psm 7：将图像视为单行文本，更符合车牌的结构

3. 调整预处理步骤 #

• 原锐化核强度过高，易引入噪声，换成温和的锐化核：

sharpening_kernel = np.array([[0, -1, 0], [-1, 5, -1], [0, -1, 0]])

• 阈值处理后增加膨胀操作，让字符边缘更连贯：

dilated = opencv.dilate(opened_license_plate, morph_kernel, iterations=1)
inverted_license_plate = opencv.bitwise_not(dilated)

内容的提问来源于stack exchange，提问作者user20983853