BLIP模型get_image_features()输出不一致，如何获取稳定结果？

造成结果不一致的核心原因有两个：

1. TensorFlow版本的BLIP模型默认处于训练模式，模型中的dropout等带随机性的层会在推理时依然生成随机输出
2. 未固定全局随机种子，导致TensorFlow的底层随机操作每次运行存在差异

以下是具体的解决步骤：

1. 固定全局随机种子 #

在代码开头添加随机种子固定逻辑，确保TensorFlow和Python的随机操作一致：

import tensorflow as tf
import random
import numpy as np

# 固定全局随机种子
seed = 42
random.seed(seed)
np.random.seed(seed)
tf.random.set_seed(seed)

2. 将模型切换为评估模式 #

加载模型后，关闭dropout等随机层的运行：

model = TFBlipModel.from_pretrained("Salesforce/blip-image-captioning-base")
# 切换为评估模式，禁用随机性
model.trainable = False

3. 显式指定处理器参数 #

确保处理器加载时的预处理参数一致，避免因环境差异导致的图像预处理细微差别：

processor = AutoProcessor.from_pretrained(
    "salesforce/blip-image-captioning-base",
    do_resize=True,
    size=(224, 224),  # BLIP base默认输入尺寸
    do_center_crop=True,
    normalize=True
)

完整修改后的代码 #

import tensorflow as tf
import random
import numpy as np
from PIL import Image
from transformers import AutoProcessor, TFBlipModel

# 固定全局随机种子
seed = 42
random.seed(seed)
np.random.seed(seed)
tf.random.set_seed(seed)

# 加载模型并切换为评估模式
model = TFBlipModel.from_pretrained("Salesforce/blip-image-captioning-base")
model.trainable = False

# 显式指定处理器参数
processor = AutoProcessor.from_pretrained(
    "salesforce/blip-image-captioning-base",
    do_resize=True,
    size=(224, 224),
    do_center_crop=True,
    normalize=True
)

image = Image.open(img_path)
inputs = processor(images=image, return_tensors="tf")
image_features = model.get_image_features(**inputs).numpy().squeeze()

额外说明：如果依然存在1e-6级别微小数值差异，这是TensorFlow浮点数运算的固有特性，可以通过设置tf.keras.backend.set_floatx('float32')统一精度，或者对结果做四舍五入处理忽略细微差异。

内容的提问来源于stack exchange，提问作者puretulip