TorchServe部署Bert模型随机请求推理极慢问题求助

一、低负载下偶发推理延迟/超时问题排查 #

1. JIT模型优化 #

• 确保JIT模型已提前完整编译：导出模型时使用torch.jit.freeze()固化模型，避免运行时动态编译触发延迟。
• 确认profiling_mode和executor参数设置时机：必须在模型加载前执行以下命令，确保生效：

  torch._C._jit_set_profiling_mode(False)
  torch._C._jit_set_profiling_executor(False)
  

2. TorchServe配置调优 #

• 调整线程池参数：在config.properties中设置：

  inference_threads=8  # GPU实例建议设为GPU核心数的2-4倍
  model_threads=4
  

  避免低负载下线程休眠后唤醒的延迟问题。
• 关闭动态批处理（若开启）：低负载下动态批处理可能因等待凑批导致延迟，添加：

  dynamic_batching_enabled=false
  

  若必须保留动态批处理，调小batch_timeout：

  batch_timeout=10
  

3. GPU环境优化 #

• 开启GPU持久化模式：避免GPU上下文频繁销毁重建，执行命令：

  nvidia-smi -pm 1
  

• 实时监控GPU状态：用nvidia-smi dmon追踪超时时间段内的GPU频率、内存使用率变化，排查是否存在短时间的资源抢占或上下文切换。

4. 日志与监控分析 #

• 开启TorchServe DEBUG日志（临时）：在config.properties中设置log_level=DEBUG，定位超时请求的内部瓶颈（是模型加载还是推理阶段慢）。
• 关联访问日志与Grafana指标：对比超时请求时间段的CPU/GPU/内存指标，排查是否存在异常波动（如GPU降频、内存抖动）。

二、关闭TorchServe健康检查日志 #

有两种常用方法：

1. 修改config.properties配置：
   添加以下配置，将ts日志级别设为WARN，过滤INFO级别的健康检查日志：

   logger_ts_level=WARN
   

2. 修改log4j配置文件：
   找到TorchServe的log4j2.xml文件（默认路径如/opt/conda/lib/python3.8/site-packages/ts/config/log4j2.xml），将<Logger name="ts" level="info" additivity="false">中的level="info"改为level="warn"，重启TorchServe生效。

内容的提问来源于stack exchange，提问作者sereneSentry