为何TensorFlow模型可正确预测图片却无法正确分类实时视频流帧

关于你提到的重塑操作的问题 #

你代码里的tf.expand_dims(img_array, 0)只是在第0维增加了batch维度，完全不会改变像素内容，不会影响预测准确率，不需要担心这个操作的问题。

核心错误原因（90%概率为第一个问题） #

• 通道顺序不匹配：OpenCV读取实时视频流的帧默认是BGR通道顺序，而你训练模型、用keras.preprocessing.image.load_img读取JPG/PNG图片时用的是RGB通道顺序。你从视频流保存PNG时，cv2.imwrite会自动将BGR转为RGB存储，所以存下来的PNG测试时是正常的，但直接用未转通道的视频帧输入模型，像素分布完全和训练数据不一致，就会出现全错分类的情况。
• 预处理逻辑不一致：
  1. 重复归一化：你模型内置了Rescaling层（默认是将0-255的像素缩放到0-1），如果实时预测时你提前对视频帧做了除以255的操作，会导致输入模型的像素值是0-1/255，和训练时的输入分布完全不符。
  2. 插值方式不匹配：你训练和单图测试时用的都是bilinear插值，如果实时帧resize时用了其他插值（比如OpenCV默认的INTER_NEAREST），也会带来预测误差，不过一般不会导致全部分类错误。
  3. 维度顺序错误：确认实时帧的维度是(高度, 宽度, 3)，而非(3, 高度, 宽度)，后者和模型输入要求不匹配也会导致预测错误。

排查步骤 #

1. 先处理通道顺序问题：实时读取到帧后，先执行frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)，再进行后续resize和预测，测试分类是否正常。
2. 对比像素值：取同一时刻的视频帧，和你存下来的PNG图片的像素数组做差值，如果差值较大，优先检查通道转换、归一化逻辑是否正确。
3. 对齐resize逻辑：实时帧resize时使用和训练一致的双线性插值，对应OpenCV的参数是cv2.INTER_LINEAR。
4. 确认你没有对实时帧做额外的归一化操作，直接传入0-255范围的像素数组即可，Rescaling层会自动处理缩放。

修正后的实时帧处理示例 #

import cv2
import tensorflow as tf
import numpy as np

img_height = 180
img_width = 180
classes = ['1', '2','3']

# 假设cap是你的视频流读取对象
cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()
    if not ret:
        break
    # 1. 转RGB通道
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    # 2. 双线性插值resize到目标尺寸
    frame_resized = cv2.resize(frame_rgb, (img_width, img_height), interpolation=cv2.INTER_LINEAR)
    # 3. 加batch维度
    img_array = tf.expand_dims(frame_resized, 0)
    # 4. 预测
    predictions = new_model.predict(img_array, verbose=0)
    score = predictions[0]
    prediction = classes[np.argmax(score)]
    print(f"预测结果：{prediction}，置信度：{100 * np.max(score):.2f}%")
cap.release()

内容的提问来源于stack exchange，提问作者user17020095