基于TensorFlow与OpenCV的光学字符检测效果不佳问题排查

Hey there, let's dig into why your sliding window OCR isn't producing correct results—there are several key oversights in your code that are almost certainly causing this. Let's break them down one by one with fixes:

1. 图像通道与训练数据不匹配 #

你的训练集是20×20灰度图像，但当前代码直接读取BGR格式的彩色图，仅通过resize[:, :, 0]提取B通道，这和真正的灰度转换逻辑完全不同（灰度图需要平均三个通道的像素值）。

修复方案：
先将输入图像转为灰度图，再进行后续处理：

# 替换原图像读取代码
image = cv2.imread("./detection-images/detection-1.jpg", cv2.IMREAD_GRAYSCALE)

之后窗口切片时无需再提取通道，直接使用单通道图像即可。

2. 滑动窗口切片顺序错误 #

OpenCV图像的维度顺序是(高度, 宽度)，但你的代码用image[x:x + w_width, y:y + w_height, :]进行切片，这完全颠倒了行（y轴/高度）和列（x轴/宽度）的顺序，导致提取的窗口区域完全错误。

修复方案：
调整切片的维度顺序，匹配图像的存储逻辑：

# 原错误切片（彩色图）
# window = image[x:x + w_width, y:y + w_height, :]
# 修正后的灰度图切片
window = image[y:y + w_height, x:x + w_width]

你的循环范围是正确的，但切片时必须先取高度方向（y），再取宽度方向（x）。

3. 缺失与训练一致的输入预处理 #

你的模型是基于特定预处理后的图像训练的，但当前代码直接将窗口像素值传入模型，没有做归一化或形状匹配：

• 如果训练时将像素值缩放到[0,1]（除以255），滑动窗口输入也需要做同样处理；
• 如果模型期望的输入是(20,20,1)的2D单通道图像，当前将窗口展平为20*20的1D数组会导致输入形状不匹配。

修复方案：
根据你的模型输入要求调整预处理逻辑，示例如下：

resize = cv2.resize(window,(20,20),interpolation =cv2.INTER_AREA)
# 归一化（如果训练时做了这一步）
resize = resize / 255.0
# 匹配模型输入形状（假设模型期望(1,20,20,1)的批量输入）
input_data = np.reshape(resize, (1, 20, 20, 1))

另外，完全不需要用pd.DataFrame包装输入，直接传递numpy数组给model.predict()即可。

4. 空窗口判断逻辑过于严苛 #

当前代码用all(x == list1[0] for x in list1)判断窗口是否为空，只有当所有像素完全相同时才跳过，但实际图像的背景可能存在轻微噪声或渐变，这会导致本该识别的窗口被错误跳过。

修复方案：
改用方差判断窗口是否为均匀背景（方差越小，像素越一致）：

if np.var(resize) < 100:  # 可根据图像对比度调整阈值
    print("Skipping uniform window", end="\r")
    continue

5. 预测结果未转换为实际类别 #

model_tensor.predict()返回的是每个类别的概率数组，你需要通过argmax提取概率最高的类别索引，再映射为对应的字母：

# 假设你有训练时的类别映射字典，比如label_map = {0:'A', 1:'B', ...}
pred_probs = model_tensor.predict(input_data, verbose=0)
pred_class_idx = np.argmax(pred_probs, axis=1)[0]
predicted_letter = label_map[pred_class_idx]
class_letter.append(predicted_letter)

当前代码直接存储概率数组，自然看不到正确的字母输出。

先优先修复窗口切片和灰度转换这两个最关键的问题，再逐步调整预处理和预测逻辑。测试时可以先在简单的"S""E"图像上验证，打印input_data.shape和model.input_shape确认输入匹配。

内容的提问来源于stack exchange，提问作者meerkat