基于OpenCV与TensorFlow的数字验证码：预处理图像模糊问题排查

问题背景 #

我正在开展一个数字验证码识别项目，使用OpenCV进行图像预处理，预处理及编码代码如下，但经过encode_single_sample函数处理后，图像数据异常、模糊不清，需要解决该问题以确保处理后的图像准确清晰。

原始验证码图像：

现有代码 #

预处理函数 #

def preprocess_with_opencv(img):
    img = img.numpy()

    # 调整尺寸
    img = cv2.resize(img, (img_width, img_height), interpolation=cv2.INTER_AREA)

    # 高斯模糊
    img = cv2.GaussianBlur(img, (3, 3), 0)

    # 自适应阈值处理
    img = cv2.adaptiveThreshold(
        img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2
    )

    # 归一化
    img = img.astype("float32") / 255.0
    img = np.expand_dims(img, axis=-1)

    return img

编码函数 #

def encode_single_sample(img_path, label):
    # 1. 读取图像
    img = tf.io.read_file(img_path)

    # 2. 解码图像（灰度图）
    img = tf.io.decode_png(img, channels=1)

    # 3. 使用OpenCV进行预处理
    img = tf.py_function(preprocess_with_opencv, [img], Tout=tf.float32)

    # 4. 如需满足模型要求则转置
    img = tf.transpose(img, perm=[1, 0, 2])

    # 5. 返回字典（图像，标签）
    return {"image": img, "label": label}

问题排查与解决方案 #

• 检查尺寸调整逻辑：确认img_width和img_height的定义是否与原始图像宽高匹配，若参数搞反会直接拉伸扭曲图像；如果是放大图像，把插值方式从INTER_AREA改为INTER_CUBIC或INTER_LINEAR，避免放大后出现模糊块。
• 移除不必要的高斯模糊：验证码字符依赖清晰边缘，高斯模糊会平滑细节导致模糊。若没有严重噪声，直接删除该步骤；若有噪声，改用cv2.medianBlur中值滤波替代。
• 优化自适应阈值参数：当前窗口大小11过大，会模糊字符边缘，可缩小至5或7；同时微调权重值（如1或3），找到适配当前验证码的参数，避免字符断裂或粘连。
• 验证转置操作的必要性：tf.transpose交换宽高维度，若模型不需要该维度顺序，会导致图像旋转拉伸。先注释该步骤验证图像是否正常，再根据模型输入要求决定是否保留。
• 修正可视化的数据范围：归一化后的数据是0-1的float32类型，直接可视化会因数值范围问题看起来偏暗模糊，需转换回0-255的uint8类型再显示。

优化后的预处理代码示例 #

def preprocess_with_opencv(img):
    img = img.numpy()
    # 确保宽高参数与目标需求一致，放大时用INTER_CUBIC
    img = cv2.resize(img, (img_width, img_height), interpolation=cv2.INTER_CUBIC)

    # 有噪声时用中值滤波替代高斯模糊
    # img = cv2.medianBlur(img, 3)

    # 调整自适应阈值窗口大小
    img = cv2.adaptiveThreshold(
        img, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 7, 2
    )

    img = img.astype("float32") / 255.0
    img = np.expand_dims(img, axis=-1)

    return img

验证步骤 #

每次修改后，可添加可视化代码确认处理效果：

def encode_single_sample(img_path, label):
    img = tf.io.read_file(img_path)
    img = tf.io.decode_png(img, channels=1)
    img = tf.py_function(preprocess_with_opencv, [img], Tout=tf.float32)
    # 先注释转置验证
    # img = tf.transpose(img, perm=[1, 0, 2])
    
    # 可视化处理后的图像
    import matplotlib.pyplot as plt
    plt.imshow(img.numpy().squeeze(), cmap='gray')
    plt.show()
    
    return {"image": img, "label": label}

内容的提问来源于stack exchange，提问作者Viet Quang Fresher