Docker部署TensorFlow Serving时如何记录预测请求响应用于调试

是否可以实现请求响应全记录？ #

完全可以实现，分两类实现路径，你可以根据自己的场景选择：

• 无侵入方案：不需要修改TF Serving源码或镜像，只需要补充Docker侧的配置即可实现
• 深度定制方案：修改TF Serving源码自定义镜像，灵活度更高但改造成本更大

仅通过Docker配置可以实现吗？ #

可以，不需要修改TF Serving本身的代码或镜像，用反向代理Sidecar的方案即可：
你可以在Docker编排（比如docker-compose）中新增一个Nginx服务作为Sidecar，所有外部请求先转发到Nginx，再由Nginx转发到TF Serving服务。在Nginx配置中开启请求体、响应体日志记录，再把Nginx的日志目录挂载到宿主机本地路径，就能直接在本地查看所有predict的请求和响应内容。
示例Nginx日志配置参考：

log_format tf_serving_log '$remote_addr - $remote_user [$time_local] '
                          '"$request" $status $body_bytes_sent '
                          '"$http_referer" "$http_user_agent" '
                          'request_body:"$request_body" response_body:"$response_body"';
access_log /var/log/nginx/tf_serving_access.log tf_serving_log;

这种方案全程只需要调整Docker的编排配置和Nginx配置，不需要对TF Serving官方镜像做任何修改，适合临时调试场景快速启用。

如果不想加代理，才需要修改TF Serving的源码，在预测接口的处理逻辑中增加输入输出的序列化落盘逻辑，再重新编译构建自定义镜像，这种方案改造成本更高，一般只适合有定制化需求的生产环境使用。

更适合支持日志记录的部署工具 #

如果是长期使用或者需要更完善的观测能力，可以替换为原生支持请求日志的推理服务框架：

• Triton Inference Server：英伟达开源的多框架推理服务框架，本身自带请求响应日志的配置开关，只需要修改启动参数即可开启全量请求日志，同时对TensorFlow、PyTorch等多框架模型的支持优于原生TF Serving，性能也更优。
• TorchServe：PyTorch官方推出的推理服务框架，也支持TF模型部署，自带的access_log配置可以直接开启请求体、响应体的记录，不需要额外加代理。
• KServe（原KFServing）：云原生场景下的推理服务部署工具，原生支持请求响应日志的采集、导出，只需要在CRD配置中开启日志开关即可，不需要额外修改服务配置，适合K8s环境下的大规模部署场景。

内容的提问来源于stack exchange，提问作者Shelby