TensorFlow-serving docker容器是否支持TensorRT推理加速？

• 官方发布的带GPU支持的TensorFlow Serving Docker镜像，从2.x正式版本开始就内置了完整的TensorRT运行时依赖，不需要用户自行编译内核或者额外挂载依赖库，只要启动容器时正确配置NVIDIA容器运行时即可调用TensorRT能力。
• 针对TensorRT优化模型的部署适配，分两种场景：
  • 如果你是通过TensorFlow原生的TF-TRT接口优化后导出的标准SavedModel格式（即包含.pb权重文件及变量、签名结构的完整模型目录），可以直接被官方TensorFlow Serving加载，无需额外格式转换。服务启动后会自动识别模型内的TensorRT优化算子，推理阶段自动调用TensorRT引擎执行加速计算。
  • 如果你是通过独立TensorRT API导出的.plan/.engine格式的纯TensorRT序列化引擎文件，官方原生TensorFlow Serving镜像不支持直接加载，这类模型需要自行基于Serving基础镜像做二次开发，添加自定义的模型加载逻辑才能适配，或者直接选用TensorRT原生的推理服务方案部署。
• 版本匹配注意事项：

本地用于模型优化的TensorFlow版本、CUDA版本、TensorRT版本，必须和所用TensorFlow Serving镜像内置的对应组件版本完全一致，否则会出现模型加载失败、算子不兼容、推理结果异常的问题。

内容的提问来源于stack exchange，提问作者齐小天