如何在TensorRT Inference Server的config.pbtxt中指定优化策略？

你遇到的配置解析错误，根源是用错了optimization_policy的语法格式——TensorRT Inference Server的配置文件（Protobuf格式）里，优化策略需要嵌套在optimization块内，而不是直接作为顶级字段使用。

修正后的完整配置示例 #

把你的config.pbtxt修改成以下格式，就能正常识别优化策略了：

name: "first_model"
platform: "tensorflow_savedmodel"
max_batch_size: 1
input [ { name: "inputs" data_type: TYPE_UINT8 dims: [ -1, -1, 3 ] } ]
output [ { name: "detection_boxes" data_type: TYPE_FP32 dims: [ 100, 4 ] }, { name: "detection_scores" data_type: TYPE_FP32 dims: [ 100 ] }, { name: "detection_classes" data_type: TYPE_FP32 dims: [ 100 ] } ]
# 正确的优化策略配置块
optimization {
  policy {
    level: 1
  }
}

关键说明 #

1. 语法结构：优化配置必须放在optimization根块下，内部嵌套policy子块，再指定level参数——这是Protobuf配置的要求，之前直接写optimization_policy [ { level:1 } ]不符合格式规范，所以会触发解析错误。
2. level取值含义：
   • level:0：禁用所有优化，仅保留模型原始推理逻辑
   • level:1：启用基础通用优化（比如算子融合、常量折叠），是性价比最高的默认选择
   • level:2：启用进阶优化（包括精度校准、层融合、内存复用等）
   • level:3~5：针对特定硬件（如NVIDIA GPU）的深度定制优化，可能会牺牲部分兼容性换取极致性能

进阶优化（可选） #

如果需要针对GPU做更精细的优化（比如开启FP16精度加速），可以在policy块内添加硬件加速参数：

optimization {
  policy {
    level: 2
    gpu_execution_accelerator {
      name: "tensorrt"
      parameters { key: "precision_mode" value: "FP16" }
    }
  }
}

修改完成后重启TensorRT Inference Server，配置就能正常加载生效了。

内容的提问来源于stack exchange，提问作者Jash Shah