使用TF-Serving部署基于InceptionV3的自定义模型时，出现找不到batch_normalization_7/beta变量的错误

看起来你遇到的是TF-Serving加载迁移学习模型时的常见问题——找不到预训练层中的BatchNorm变量，这一般和模型保存方式、Docker挂载路径或者TF版本兼容有关。先帮你梳理下问题场景，再给出针对性的解决办法：

你的操作回顾 #

1. 模型构建与保存 #

你用迁移学习基于InceptionV3构建了3分类模型，冻结了预训练层，训练完成后保存为SavedModel格式：

inceptionv3_model = InceptionV3(weights="imagenet", include_top=False, input_shape=(224, 224, 3))
inceptionv3_model.trainable = False

model = Sequential()
model.add(inceptionv3_model)

model.add(Conv2D(32, (3, 3), activation='relu', padding='same'))
model.add(GlobalAveragePooling2D())

# flatten
model.add(Flatten())

# hidden layer
model.add(Dense(64, activation='relu'))
model.add(Dropout(0.2))

# output layer
model.add(Dense(3, activation='softmax'))

# 保存模型
saved_model_path = '/kaggle/working/models/cdb_model/1'
tf.saved_model.save(model, saved_model_path)

2. TF-Serving Docker部署 #

你拉取了TF-Serving镜像，启动容器并加载模型：

docker pull tf/serving

docker run -it -v models:/models -p 8501:8501 --entrypoint /bin/bash tensorflow/serving

tensorflow_model_server --rest_api_port=8501 --model_name=cdb_model --model_base_path=/models/cdb_model/

3. 预测时的错误 #

调用REST接口预测时，返回变量找不到的错误：

{'error': 'Could not find variable batch_normalization_7/beta. This could mean that the variable has been deleted. In TF1, it can also mean the variable is uninitialized. Debug info: container=localhost, status error message=Resource localhost/batch_normalization_7/beta/N10tensorflow3VarE does not exist.\n\t [[{{function_node __inference_serving_default_199623}}{{node sequential_1/inception_v3_1/batch_normalization_7_1/Cast_2/ReadVariableOp}}]]'}

可能的原因和解决办法 #

原因1：模型保存方式导致预训练层变量未被正确包含 #

当你冻结inceptionv3_model.trainable = False后，直接用tf.saved_model.save()可能会导致Keras预训练层的变量没有被完整写入SavedModel，TF-Serving加载时就找不到这些变量。

解决办法：用Keras原生保存方法替代tf.saved_model.save
改用Keras的model.save()来保存模型，它会更完整地保留所有层的变量信息，包括冻结的预训练层：

# 替换原来的tf.saved_model.save，使用Keras原生保存
model.save('/kaggle/working/models/cdb_model/1')

保存后，/kaggle/working/models/cdb_model/1目录下会自动包含saved_model.pb和variables文件夹，符合TF-Serving的加载要求。

原因2：Docker挂载路径与模型实际路径不匹配 #

你用-v models:/models挂载了匿名卷，但如果你的模型是在Kaggle中训练的，本地并没有把模型文件同步到Docker的models卷里，导致容器内/models/cdb_model下没有完整的模型文件。

解决办法：挂载本地模型目录到容器

1. 先把Kaggle中的/kaggle/working/models/cdb_model下载到本地的./models/cdb_model目录
2. 用以下命令启动TF-Serving容器（直接指定启动参数，无需手动进入容器）：

docker run -d -p 8501:8501 \
  -v $(pwd)/models:/models \
  tensorflow/serving \
  --rest_api_port=8501 \
  --model_name=cdb_model \
  --model_base_path=/models/cdb_model

-d参数让容器后台运行，$(pwd)/models会把当前目录下的models文件夹挂载到容器内的/models路径，确保模型文件能被正确读取。

原因3：TensorFlow训练版本与TF-Serving版本不兼容 #

如果你的模型是用较新的TensorFlow版本（比如2.16+）训练的，但拉取的tf/serving是旧版本，会因为变量格式不兼容导致加载失败。

解决办法：拉取与训练版本匹配的TF-Serving镜像
比如你用TensorFlow 2.15训练模型，就拉取对应的镜像：

docker pull tensorflow/serving:2.15.0

# 用匹配版本的镜像启动容器
docker run -d -p 8501:8501 \
  -v $(pwd)/models:/models \
  tensorflow/serving:2.15.0 \
  --rest_api_port=8501 \
  --model_name=cdb_model \
  --model_base_path=/models/cdb_model

原因4：模型目录结构不符合TF-Serving要求 #

TF-Serving要求模型必须放在模型名/版本号/的层级下，比如cdb_model/1/、cdb_model/2/，并且版本号必须是整数。确保你的模型目录结构是：

models/
└── cdb_model/
    └── 1/
        ├── saved_model.pb
        └── variables/
            ├── variables.data-00000-of-00001
            └── variables.index

验证方法：
进入容器查看模型目录：

# 查看运行中的容器ID
docker ps
# 进入容器
docker exec -it <容器ID> /bin/bash
# 检查模型文件
ls -l /models/cdb_model/1

如果缺少saved_model.pb或variables文件夹，说明模型保存或挂载出了问题。

验证修复效果 #

按照上面的方法调整后，重新启动TF-Serving服务，再用你的预测代码测试：

def images_preprocessing(filename):
    img = image.load_img(filename, target_size=(224, 224))
    img_array = image.img_to_array(img)
    img_array = np.expand_dims(img_array, axis=0)
    img_array = img_array / 255.0
    return img_array
image = images_preprocessing(cat_path)
json_data = {
    "instances": image.tolist()
}
endpoint = "http://localhost:8501/v1/models/cdb_model:predict"
response = requests.post(endpoint, json=json_data)
predictions = response.json()
print(predictions)

应该就能正常返回预测结果了。

备注：内容来源于stack exchange，提问作者Adi Wira