TensorFlow Serving最大HTTP POST请求体大小咨询

• TensorFlow Serving本身没有硬编码的请求体大小限制，它依赖底层默认的gRPC Gateway HTTP服务器实现。
• 默认情况下，该HTTP服务器对请求体大小无严格限制，但实际上限受服务器的系统资源（内存、磁盘等）约束。
• 若要处理1GB以上的大请求，需关注两个核心配置点：
  1. 启动参数配置：可通过--rest_api_max_request_size_bytes参数显式指定最大请求体大小（单位为字节）。例如，要允许2GB的请求，启动命令需添加：

     --rest_api_max_request_size_bytes=2147483648
     

  2. 系统资源保障：确保服务器有足够内存加载并处理大请求，避免因内存不足导致服务异常。
• 若使用容器部署（如Docker），还需注意配置容器的内存配额，防止出现OOM（内存耗尽）错误。

内容的提问来源于stack exchange，提问作者Matěj Račinský