TensorFlow Serving：运行时更新model_config（添加额外模型）

阿华AIGC实验室

2026-5-11

我刚好研究过这个问题，TensorFlow Serving确实提供了通过API触发配置重载的功能，同时也支持自动监听变更，下面给你详细的解决方案：

方案一：用Python脚本手动触发模型配置重载

你提到的ModelService的ReloadConfig API是实现手动重载的核心，下面是完整的Python脚本示例，需要先安装依赖：

pip install tensorflow-serving-api grpcio

脚本代码：

import grpc
from tensorflow_serving.apis import model_service_pb2_grpc
from tensorflow_serving.apis import model_management_pb2
from tensorflow_serving.config import model_server_config_pb2

def reload_tensorflow_serving_config(server_address="localhost:8500"):
    # 建立与TensorFlow Serving的gRPC连接
    channel = grpc.insecure_channel(server_address)
    stub = model_service_pb2_grpc.ModelServiceStub(channel)

    # 构造重载请求
    request = model_management_pb2.ReloadConfigRequest()

    # 两种使用方式：
    # 1. 让服务器重新读取本地已更新的model_config文件（推荐你这种场景，因为你已经把模型下载到服务器目录并更新了配置文件）
    # 不需要额外配置，直接发送空请求即可，服务器会重新加载启动时指定的--model_config_file路径的文件

    # 2. 动态传递新的模型配置（适合不想修改本地文件的场景）
    # 比如添加一个名为"my_image_model"的新模型：
    # model_config = model_server_config_pb2.ModelConfig()
    # model_config.name = "my_image_model"
    # model_config.base_path = "/models/my_image_model"
    # model_config.model_platform = "tensorflow"
    # config = model_server_config_pb2.ModelServerConfig()
    # config.model_config_list.config.extend([model_config])
    # request.config.CopyFrom(config)

    # 发送重载请求并处理响应
    try:
        response = stub.ReloadConfig(request)
        if response.status.error_code == 0:
            print("✅ 模型配置重载成功！")
        else:
            print(f"❌ 重载失败：{response.status.error_message}")
    except grpc.RpcError as e:
        print(f"⚠️ gRPC请求出错：{e.details()}")

if __name__ == "__main__":
    # 替换为你的TensorFlow Serving服务器地址和端口（默认gRPC端口是8500）
    reload_tensorflow_serving_config("localhost:8500")

脚本说明：

如果你已经手动更新了服务器上的model_config文件（比如添加了新模型的条目），直接使用空请求即可，服务器会自动重新读取配置文件并加载新模型。
如果需要动态添加模型，可以注释掉示例中的第2种方式，构造对应的ModelConfig并传递给请求，无需修改本地配置文件。

方案二：配置TensorFlow Serving自动监听变更

如果不想每次都手动执行脚本，可以让服务器自动检测配置或模型目录的变化：

1. 自动监听model_config文件变化

启动TensorFlow Serving时，添加--model_config_file_poll_wait_seconds参数，指定服务器检查配置文件的间隔时间（单位：秒）：

tensorflow_model_server \
  --port=8500 \
  --rest_api_port=8501 \
  --model_config_file=/path/to/your/model_config.config \
  --model_config_file_poll_wait_seconds=10  # 每10秒检查一次配置文件

这样当你更新model_config文件后，服务器会在10秒内自动重载配置并加载新模型。