如何获取Triton推理服务器自动生成的config.pbtxt文件

有三种实测可用的方式，不需要修改源码或使用特殊编译版本：

• 调用内置HTTP接口拉取（最推荐，返回内容就是服务实际加载使用的标准配置）
  Triton启动后默认在8000端口开放模型管理接口，直接请求对应模型的配置端点即可拿到完整自动生成的配置，执行命令：

  curl http://localhost:8000/v2/repository/models/<替换成你的模型名>/config
  

  如果需要直接存成可编辑的配置文件到模型仓库，直接把返回结果重定向写入对应模型目录即可：

  curl http://localhost:8000/v2/repository/models/<替换成你的模型名>/config > /home/rajesh/custom_repository/<替换成你的模型名>/config.pbtxt
  

  存好之后你就可以直接修改文件里的批大小、动态批处理规则、实例数等参数，后续启动服务不管开不开严格配置校验，都会优先读取你存的这个配置文件。
• 从启动日志中提取配置
  开启--strict-model-config=false时，Triton加载每个自动生成配置的模型，都会把完整配置打印到标准输出日志，直接查看容器日志就能找到：

  # 先找到运行中的Triton容器ID
  docker ps
  # 过滤对应模型的自动生成配置段
  docker logs <替换成你的容器ID> 2>&1 | grep -A 200 "auto-generated configuration for <替换成你的模型名>"
  

• 进入运行中容器拷贝临时配置（不推荐）
  Triton运行时生成的临时配置不会写入你挂载的宿主机模型目录，会存在容器内部的临时缓存路径，不同版本缓存路径可能有差异，你可以进容器后搜索拷贝，但这种方式拿到的配置和接口返回的完全一致，不如直接调接口方便。

注意：如果你存了自定义的config.pbtxt到模型目录，Triton下次加载就不会再自动生成配置，会直接使用你提供的文件，修改前建议先备份自动生成的原始配置。

内容的提问来源于stack exchange，提问作者Rajesh Somasundaram