TensorFlow调用model.predict报InternalError错误问题排查

在TensorFlow 2.5虚拟环境开发图像分类功能时，自定义预测函数中的predict逻辑无法正常运行，相关代码、运行输出与报错如下：

问题代码 #

def custom_predictions(path):
    img = ig.load_img(path, target_size=(64, 64), grayscale=False, color_mode='rgb', interpolation='nearest')
    plt.imshow(img)
    img = np.expand_dims(img, axis=0)
    img.reshape(1,64,64,3)
    print(np.shape(img))
    prediction = np.argmax(model.predict(np.array(img)))
#     result=loaded_model.predict_classes(img)
    plt.title(labels[prediction])
    plt.show()

custom_predictions('Desktop/data1a/training/00-damage/0007.JPEG')

运行输出与报错 #

(1, 64, 64, 3)
---------------------------------------------------------------------------
InternalError                             Traceback (most recent call last)
Input In [7], in <cell line: 1>()
----> 1 custom_predictions('Desktop/data1a/training/00-damage/0007.JPEG')

Input In [6], in custom_predictions(path)
      5     img.reshape(1,64,64,3)
      6     print(np.shape(img))
----> 7     prediction = np.argmax(model.predict(np.array(img)))
      8 #     result=loaded_model.predict_classes(img)
      9     plt.title(labels[prediction])
...
InternalError: stream did not block host until done; was already in an error state

运行时图片数组形状正常打印为(1, 64, 64, 3)，执行到model.predict语句时触发异常，最终抛出InternalError，提示流未阻塞主机至执行完成、已处于错误状态。

• 代码预处理逻辑存在无效操作：img.reshape(1,64,64,3)属于numpy非原地操作，没有将返回值重新赋值给img，该行代码实际不生效；同时load_img返回的是PIL格式的uint8类型图像，像素值范围为0-255，未做与训练阶段一致的归一化、类型转换，直接输入模型会触发底层计算异常。
• 报错的stream did not block host until done属于TensorFlow GPU运行时的CUDA流错误，常见触发场景包括：GPU显存不足导致前置计算任务崩溃、输入数据格式/数值范围与模型预期不匹配、TensorFlow2.5版本本身的eager模式GPU调度bug、CUDA/cuDNN版本与TF2.5不兼容。
• 预测时未指定batch_size参数，动态batch调度在部分GPU环境下会触发显存分配异常。

按以下顺序逐步排查修复：

1. 修正图像预处理逻辑，补全类型转换、归一化步骤，删除无效的reshape代码，替换原预测函数为：

def custom_predictions(path):
    img = ig.load_img(path, target_size=(64, 64), grayscale=False, color_mode='rgb', interpolation='nearest')
    plt.imshow(img)
    # 转float32类型，做归一化（如果训练时用的是其他预处理逻辑，比如tf.keras.applications内置预处理，替换为对应逻辑即可）
    img = np.array(img, dtype=np.float32) / 255.0
    # 增加batch维度，处理后shape自动为(1,64,64,3)，无需额外reshape
    img = np.expand_dims(img, axis=0)
    print(np.shape(img))
    # 显式指定batch_size=1，避免动态调度异常
    pred_result = model.predict(img, batch_size=1, verbose=0)
    prediction = np.argmax(pred_result)
    plt.title(labels[prediction])
    plt.show()

2. 配置GPU显存按需增长，避免显存不足导致的流错误。将以下代码放在导入TensorFlow之后、加载/构建模型之前执行：

import tensorflow as tf
gpus = tf.config.list_physical_devices('GPU')
if gpus:
    try:
        for gpu in gpus:
            tf.config.experimental.set_memory_growth(gpu, True)
    except RuntimeError as e:
        print(e)

3. 若前两步操作后仍报错，先重启Python/Jupyter内核清空CUDA错误状态，执行简单张量计算验证GPU可用性：

# 测试GPU基础计算是否正常
print(tf.constant([1,2,3]) + tf.constant([4,5,6]))

如果该测试代码也报错，说明环境版本不匹配，TensorFlow2.5对应的兼容版本为CUDA11.2 + cuDNN8.1，重装对应版本依赖即可。
4. 额外校验：加载模型后执行model.summary()，确认模型输入shape为(None,64,64,3)、权重加载完整，排除模型本身加载异常的问题。

内容的提问来源于stack exchange，提问作者Mr.Stranger Alone