基于Python与OpenCV的验证码图像清理及OCR识别优化咨询

你当前的预处理方案存在三个核心问题，直接导致去噪效果差、识别不稳定：

• 手写的阈值逻辑是硬二值化，并非你计划使用的自适应均值阈值：只要像素值不为纯黑就直接设为纯白，既会把浅灰色噪点和字符边缘像素混为一谈，还会丢失大量字符笔画细节
• 现有去噪逻辑仅判断单像素的上下/左右邻域是否为白色，对斜向噪点、连续2-3像素的短噪线完全无效，还容易误删字符上的细笔画（比如字母i的点、数字1的衬线）
• 没有落地你前期调研的HSV色彩掩膜思路，直接转灰度做硬二值，浪费了「验证码文本为相近色系」这个最容易实现精准分割的特征

可直接落地的优化路径 #

1. 优先用HSV掩膜提取字符区域 #

同色系字符分割优先用色彩空间过滤，比纯灰度处理的分割精度高很多：

• 读取原图后直接转HSV空间，根据字符的实际颜色设定H/S/V三通道的上下阈值，生成掩膜后直接把非字符颜色的背景、彩色噪点全部过滤为白色
• 你提供的样例字符为深灰近黑色，可先试H:0-180, S:0-70, V:0-120的阈值范围，后续根据实际采集的验证码微调即可

2. 替换手写像素遍历逻辑，用OpenCV原生操作提效去噪 #

手写Python嵌套循环遍历像素的效率极低，且逻辑覆盖不全，直接用OpenCV内置函数即可：

• 掩膜处理后转灰度图，调用cv2.adaptiveThreshold做自适应阈值，块大小设为11、常数C设为2，比硬二值保留更多字符边缘细节
• 增加3x3十字核的形态学开运算，滤除零散的小尺寸噪点，且不会破坏字符主体结构
• 增加连通域检测逻辑：计算二值图中所有独立连通块的面积，把面积小于字符最小笔画面积的块直接清除，比单像素邻域判断的去噪效果干净数倍
• 最后做1次迭代的轻微膨胀，把处理过程中断裂的字符笔画重新连接，避免字符碎片化影响OCR判断

3. 针对Tesseract做适配调整 #

仅做图像去噪不够，需要匹配Tesseract的识别特性调整参数：

• 调用Tesseract时设置--psm 7模式（适配单行文本场景），如果验证码是定长的数字/字母组合，可直接配置字符白名单，排除无关字符的识别干扰
• 如果预处理调优后识别率仍达不到预期，不用死磕传统图像处理：收集100-200张该站点的验证码标注后，微调Tesseract训练集，或者搭一个轻量CNN做字符识别，识别率可稳定到95%以上，比反复调预处理参数省时间

优化后参考代码 #

import cv2
import numpy as np

# 读取原始验证码
img = cv2.imread("captcha-img.png")
# 转HSV空间做色彩掩膜
hsv_img = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
# HSV阈值可根据实际验证码字符颜色微调
lower_color = np.array([0, 0, 0])
upper_color = np.array([180, 70, 120])
color_mask = cv2.inRange(hsv_img, lower_color, upper_color)

# 形态学开运算去除微小噪点
cross_kernel = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
color_mask = cv2.morphologyEx(color_mask, cv2.MORPH_OPEN, cross_kernel)

# 自适应阈值处理
gray_img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 掩膜外非字符区域直接置为纯白
gray_img[color_mask == 0] = 255
binary_img = cv2.adaptiveThreshold(
    gray_img, 255, cv2.ADAPTIVE_THRESH_MEAN_C, 
    cv2.THRESH_BINARY_INV, 11, 2
)

# 连通域检测去除剩余小噪点
label_num, labels, stats, _ = cv2.connectedComponentsWithStats(binary_img, connectivity=8)
for idx in range(1, label_num):
    block_area = stats[idx, cv2.CC_STAT_AREA]
    # 面积阈值根据验证码实际字符大小调整，小于阈值的块判定为噪点清除
    if block_area < 10:
        binary_img[labels == idx] = 0

# 轻微膨胀连接断裂笔画
final_img = cv2.dilate(binary_img, cross_kernel, iterations=1)
cv2.imwrite("clean_captcha.png", final_img)

额外提效提示 #

• 如果该站点验证码有固定干扰线特征（比如固定宽度的斜线、曲线），可增加霍夫线检测逻辑专门清除干扰线，效果优于通用去噪
• 所有像素操作尽量用OpenCV的向量化实现，不要自己写嵌套循环遍历，处理速度会提升数十倍

内容的提问来源于stack exchange，提问作者basskiller