Triton inference server显式模型控制模式生产实例重启后模型加载问题咨询

方案1：原生启动参数+生命周期钩子（最轻量，无额外服务依赖） #

• 首先将生产环境已确认上线的模型名称及版本列表持久化存储在独立的共享配置中心/分布式存储中，不与Triton实例本地存储绑定
• 若采用K8s部署，可通过initContainer在Triton容器启动前先拉取全局上线模型列表，拼接进Triton启动命令：

tritonserver --model-repository=<模型仓库地址> --model-control-mode=explicit \
--load-model=<模型1名称> --load-model=<模型2名称> ...

• 非K8s环境可配置操作系统启动后钩子/进程托管工具的启动后回调，调用Triton管理APIPOST v2/repository/load/{model_name}批量加载指定模型

方案2：模型仓库分级+自动轮询（无额外开发量，适合中小团队） #

• 将模型仓库划分为production和staging两个独立目录，仅确认上线的模型才会同步到production目录
• Triton启动时添加如下参数，即可实现新实例启动自动加载所有生产模型，同时在线实例会自动同步仓库中生产模型的变更：

tritonserver --model-repository=<production目录地址> --model-control-mode=explicit \
--load-model=* --repository-poll-secs=<轮询间隔秒数>

方案3：事件驱动的模型状态同步（适合大规模多实例部署） #

• 搭建轻量的全局模型状态管理服务，持久化存储所有需要上线的模型列表、版本、实例调度规则
• 所有Triton实例启动后统一注册到服务注册中心，状态管理服务监听到新实例上线事件后，主动向该实例推送需要加载的模型列表，调用Triton加载API完成批量加载
• 该方案为事件驱动架构，无定时轮询开销，状态一致性远高于定时巡检方案，可支持上百台Triton实例的大规模部署场景

注意：调用模型加载API时可通过version参数指定加载的模型版本，避免误加载非生产版本

内容的提问来源于stack exchange，提问作者Buddhi De Seram