TorchServe工作进程崩溃：消息大小超限（批量推理场景）

针对你遇到的TorchServe 0.7.1-gpu部署BERT相似度模型批量推理时偶发进程崩溃、报io.netty.handler.codec.CorruptedFrameException: Message size exceed limit: 16的问题，以下是批量场景下的可行解决思路：

• 调整内部Netty通信帧大小
  你之前修改的max_request_size和max_response_size是控制外部客户端与TorchServe前端的请求/响应大小限制，而报错的16是TorchServe内部worker进程与管理进程之间Netty通信的单帧大小限制（单位为KB，默认可能是16KB）。在config.properties中添加以下参数并设置合理值：

  netty_max_frame_size=10485760
  

  这里设置为10MB，可根据你的批量推理返回数据大小调整，确保单帧能容纳批量结果的序列化数据。

• 优化自定义Handler的批量返回逻辑
  检查你的模型Handler代码，批量推理时是否直接返回了过大的原始张量或展开后的全量数据（比如完整的相似度矩阵）。可以：

  • 对返回结果做轻量化处理，比如只返回Top-N相似度结果而非全量矩阵
  • 使用更高效的序列化方式，比如直接返回Tensor的二进制格式而非转成Python列表，减少数据体积

• 升级TorchServe版本
  0.7.1是较老的版本，后续发布的0.8.x及以上版本修复了多个内部通信相关的bug，包括批量推理场景下的Netty帧大小限制问题。建议升级到最新稳定版，比如pytorch/torchserve:0.9.0-gpu，新版本默认调整了内部帧大小的合理阈值。

• 设置合理的批次大小阈值
  不必直接将batchSize设为1，可逐步测试找到最大的稳定批次值：从2、4、8开始递增测试，直到不再触发崩溃。这样既能保留批量推理的性能优势，又避免触发内部通信的帧大小限制。

• 排查GPU内存异常
  批量推理时GPU内存不足可能导致进程异常退出，进而附带触发Netty通信的帧错误。用nvidia-smi实时监控GPU内存使用，若存在OOM情况，可：

  • 降低批次大小
  • 启用模型的FP16推理（在Handler中设置model.half()，并确保输入数据为FP16格式）
  • 清理推理过程中不必要的中间张量，释放内存

内容的提问来源于stack exchange，提问作者sereneSentry